kalibracija ili sposobnost objektivne ocene vlastitih...

26
PSIHOLOGIJA, 1997, 4, 353-378 UDK 159.9.072.5 353 Kalibracija ili sposobnost objektivne ocene vlastitih sudova DUBRAVKA PAVLIČIĆ Ekonomski fakultet, Beograd U okviru bihejvioralne teorije odlučivanja pod pojmom kalibracija se razmatraju različite metode kojima se utvrđuje da li je subjekt objektivan, nesiguran ili samouveren u oceni valjanosti svojih sudova. U radu su opisani postupci i mere koji se najviše koriste, kao i najvažniji eksperimentalni rezultati i zaključci koji su iz njih izvedeni. Na kraju, razmatraju se koncepcijska i metodološka ograničenja pristupa problemu kalibracije u celini i primenjenih metoda pojedinačno. Ključne reči: kalibracija, kriva kalibracije, samouverenost, nesigurnost. Značajnu komponentu svake odluke predstavlja sposobnost subjekta da objektivno proceni valjanost svojih sudova, jer upravo neosnovana uverenost u njihovu ispravnost može biti uzrok pogrešnih izbora. Po rečima Rodžersa (Rogers, prema Russo i Schoemaker, 1989), u odlučivanju nam često ne zadaje probleme ono što ne znamo, već ono što znamo ali što nije tako kako mislimo da jeste. Kako utvrditi da li je donosilac odluke (DO) objektivan u proceni svojih sudova, da li je nedovoljno siguran ili neosnovano samouveren? Ovaj problem u poslednje tri decenije zaokuplja pažnju psihologa koji, u okviru bihejvioralne teorije odlučivanja, pod pojmom kalibracija, 1 razmatraju različite metode i mere za utvrđivanje stepena objektivnosti subjekata u oceni sopstvenih znanja i sposobnosti ———————— 1 Calibrate - obeležavanje ili ispravljanje jedinica mere na skali (termometra ili nekog drugog mernog instrumenta), calibration - postupak kalibriranja; Oxford Advanced Learners dictionary, Oxford University Press, Oxford, 1989., str. 160.; kalibrirati - udesiti prema određenoj meri, svesti na pravu meru; kalibracija - upoređivanje instrumenata ili uređaja sa standardnim uređajima ili instrumentima radi utvrđivanja njihove tačnosti. (Vujaklija. M.: Leksikon stranih reči i izraza, Prosveta, Beograd, 1991., str. 376.)

Upload: others

Post on 14-Jan-2020

23 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

PSIHOLOGIJA, 1997, 4, 353-378

UDK 159.9.072.5

353

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

DUBRAVKA PAVLIČIĆ Ekonomski fakultet, Beograd

U okviru bihejvioralne teorije odlučivanja pod pojmom kalibracija se razmatraju različite metode kojima se utvrđuje da li je subjekt objektivan, nesiguran ili samouveren u oceni valjanosti svojih sudova. U radu su opisani postupci i mere koji se najviše koriste, kao i najvažniji eksperimentalni rezultati i zaključci koji su iz njih izvedeni. Na kraju, razmatraju se koncepcijska i metodološka ograničenja pristupa problemu kalibracije u celini i primenjenih metoda pojedinačno. Ključne reči: kalibracija, kriva kalibracije, samouverenost, nesigurnost. Značajnu komponentu svake odluke predstavlja sposobnost subjekta da

objektivno proceni valjanost svojih sudova, jer upravo neosnovana uverenost u njihovu ispravnost može biti uzrok pogrešnih izbora. Po rečima Rodžersa (Rogers, prema Russo i Schoemaker, 1989), u odlučivanju nam često ne zadaje probleme ono što ne znamo, već ono što znamo ali što nije tako kako mislimo da jeste.

Kako utvrditi da li je donosilac odluke (DO) objektivan u proceni svojih sudova, da li je nedovoljno siguran ili neosnovano samouveren? Ovaj problem u poslednje tri decenije zaokuplja pažnju psihologa koji, u okviru bihejvioralne teorije odlučivanja, pod pojmom kalibracija,1 razmatraju različite metode i mere za utvrđivanje stepena objektivnosti subjekata u oceni sopstvenih znanja i sposobnosti ————————

1 Calibrate - obeležavanje ili ispravljanje jedinica mere na skali (termometra ili nekog drugog mernog instrumenta), calibration - postupak kalibriranja; Oxford Advanced Learners dictionary, Oxford University Press, Oxford, 1989., str. 160.; kalibrirati - udesiti prema određenoj meri, svesti na pravu meru; kalibracija - upoređivanje instrumenata ili uređaja sa standardnim uređajima ili instrumentima radi utvrđivanja njihove tačnosti. (Vujaklija. M.: Leksikon stranih reči i izraza, Prosveta, Beograd, 1991., str. 376.)

Page 2: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

354

predviđanja. Odgovore na ova pitanja nije moguće dobiti putem intervjua (osoba najčešće nije objektivna u proceni svog stava), niti na osnovu utiska koji subjekt ostavlja svojim nastupom (pored razlika u tipu ličnosti, različite profesije i kulture u različitoj meri podstiču samouverenost). Otuda, objektivnost subjekta u proceni vlastitih sudova određujemo na osnovu dugog niza pažljivo izvedenih eksperimenata.

Namera nam je da opišemo različite postupke za utvrđivanje kalibracije i objasnimo predložene mere, da navedemo najvažnije rezultate i zaključke ekspe-rimentalnih istraživanja, kao i da ukažemo na metodološka ograničenja i neke nerešene probleme koji umanjuju pouzdanost izvedenih zaključaka.

1. Postupci određivanja kalibracije

Brojne procedure koje su u dosadašnjoj eksperimentalnoj praksi primenji-vane u cilju merenja kalibracije mogu se svrstati u dve kategorije:

1. metode u kojima se procenjuje verovatnoća budućih događaja i 2. metode u kojima se procenjuje tačnost iskaza. Kod prvih je prisutna spoljašnja, objektivna, neizvesnost koja predstavlja

karakteristiku razmatranog događaja. U drugom slučaju neizvesnost je unutrašnja, subjektivna, i potiče iz nesigurnosti subjekta u istinitost datog iskaza (Kahneman i Tversky, 1982).

1.1. Kalibracija verovatnoće događaja Kada DO pripiše verovatnoću nekom budućem događaju, on njome izražava

stepen svoga uverenja u realizaciju tog događaja. Ovu verovatnoću nazivamo subjektivnom verovatnoćom i njenu valjanost procenjujemo na osnovu tri krite-rijuma: normativnog, sadržinskog i kalibracije. (Prva dva kriterijuma predložili su Vinkler i Marfi, a treći pod nazivom pouzdanost prvi put predlaže Marfi. Termin kalibracija uvode Lihtenštajn i Fišof (Lichtenstein i Fischoff, 1982) od kada se on isključivo i koristi)).

Probabilistički sudovi DO-a su valjani u normativnom smislu ako pripisane verovatnoće precizno odražavaju njegovo stvarno uverenje u realizaciju neizvesnog događaja i pri tome zadovoljavaju aksiome teorije verovatnoće. Druga, sadržinska komponenta odražava znanje DO-a o oblasti u kojoj on vrši prognozu; drugim rečima, ona odražava sposobnost subjekta da tačno predvidi ishod. Trećim kriterijumom - kalibracijom merimo stepen saglasnosti probabilističkih sudova sa objektivnim verovatnoćama događaja na koje se odnose. Ovde ćemo se zadržati samo na kalibraciji.

Page 3: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

355

Postupci za procenu kalibracije verovatnoće DO-a mogu se podeliti u dve podgrupe: 1. postupke koji se zasnivaju na proceni verovatnoće diskretne promenljive i 2. postupke procene funkcije gustine verovatnoće neprekidne promenljive.

1.1.1. Diskretna promenljiva U ovom slučaju DO određuje verovatnoću jasno definisanog događaja (npr.

"sutra će biti sunčan dan", "kandidat A će biti izabran na izborima", "tim X će pobediti tim Y", i sl.), tj. brojem od 0 do 1 on precizno izražava stepen svog uverenja u realizaciju događaja.

Budući da se kalibracija odnosi na subjektivnu verovatnoću, postavlja se pitanje kako meriti tačnost subjektivnog iskaza i da li je ovo merenje opravdano. Naime, istinitost iskaza koji se odnosi na verovatnoću nekog jedinstvenog događaja ne može biti potvrđena nakon što se događaj dogodio ili nije (osim ako pripisane verovatnoće nisu jednake 1 ili 0). Drugim rečima, ne postoji objektivna verovatnoća sa kojom bismo poredili subjektivan stav DO-a i procenjivali stepen njegove tačnosti. Npr., ako DO pripiše događaju verovatnoću 0,80, on ne može utvrditi da li je njegova procena bila tačna, jer će se događaj desiti ili se neće desiti.

Da bismo utvrdili u kojoj meri je DO dobar prognozer budućih događaja, moramo da posmatramo veliki broj njegovih prognoza. Ako se, na primer, u 10000 procena u kojima je on posmatranim događajima pripisao verovatnoću 0,80, ovi događaji realizuju u 80% slučajeva (8000 puta), onda kažemo da je DO savršeno kalibriran. Drugim rečima, subjekt "je dobro kalibriran ako u dugom nizu za sve iskaze kojima pripiše istu verovatnoću, proporcija tačnih iskaza bude jednaka pripisanoj verovatnoći" (Lihtenštajn i sar. 1982) Nasuprot tome, ako je pri proceni od 0,80, relativna frekvencija realizovanih događaja manja od 0,80 (na primer, iznosi 0,57) ili je ona veća od 0,80 (npr., 0,92), tada DO nije dobro kalibriran, tim više što su odstupanja od ideala veća.

Ako bi se prognoze DO-a odnosile samo na jednu pojavu (npr. sutra će biti sunčan dan), mogli bismo da kažemo da u prvom slučaju on precenjuje, a u drugom potcenjuje verovatnoću događaja. Ali, budući da se njegove prognoze odnose na različite događaje, probabilističke iskaze možemo interpretirati na sledeći način. Na primer, iskaz: "Verovatnoća da će sutra biti sunčano je 0,80" možemo prikazati u vidu dva iskaza: 1. "Sutra će biti sunčano" i 2. "DO je 80% uveren da je iskaz 1. tačan". Otuda, veći stepen uverenja u tačnost tvrđenja u odnosu na relativne frekvencije njihove istinitosti, u dugom nizu, ukazuju na samouverenost DO-a, dok se verovatnoće manje od relativnih frekvencija mogu interpretirati kao odraz njegove nesigurnosti u vlastite prognoze.

1.1.2. Funkcija gustine verovatnoće U ovom slučaju DO treba da proceni nepoznatu vrednost neke pojave koja

će se realizovati u budućnosti (npr. stopu inflacije, broj stranih turista u toku godine i sl.). Tačnu vrednost pojave on ne može da predvidi, zbog čega pojava dobija karakteristike neprekidne promenljive, sa nizom mogućih, različito vero-

Page 4: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

356

vatnih vrednosti. DO treba da odredi funkciju gustine verovatnoće ove promenljive. Budući da bi precizno utvrđivanje oblika funkcije bio preterano ambiciozan zahtev, od DO-a sa očekuje da, na celom domenu promenljive, on odredi intervale različite širine koji sa različitim verovatnoćama sadrže vrednost promenljive.

Ako ceo domen promenljive X podelimo na 100 intervala tako da je vero-vatnoća javljanja vrednosti unutar svakog od njih jednaka 1/100, granične vrednosti ovih intervala nazivamo fraktilima. Tako, šansa da pojava uzme vrednost manju od prvog fraktila iznosi samo 1%, koliko iznosi i verovatnoća da ona bude veća od 99. fraktila. Verovatnoća da se vrednost promenljive nađe između 25. i 75. fraktila iznosi 0,50, koliko iznosi i verovatnoća da promenljiva uzme vrednost manju (veću) od 50. fraktila. Otuda, određujući vrednosti pojedinih fraktila, DO deli interval mogućih vrednosti promenljive na podintervale različite širine u kojima sa različitom verovatnoćom očekuje realizaciju događaja. Na primer, izborom 1. i 99. fraktila on određuje interval u kojem će se, po njegovom mišljenju, sa verovatnoćom od 0,98 naći stvarna vrednost pojave, pa stepen njegovog uverenja u ovom slučaju iznosi 98%.

Brojni eksperimenti u kojima je primenjen ovaj metod razlikuju se među sobom po izboru fraktila i po njihovom broju; najčešće su utvrđivane vrednosti od tri ili pet fraktila (1., 25., 50., 75. i 99.).

Da bismo utvrdili u kojoj meri DO dobro procenjuje nepoznate vrednosti, potrebno je da raspolažemo velikim brojem njegovih prognoza. Ako se pri pouzdanosti od 0,90 (kada on određuje 5. i 95.fraktil) tačne vrednosti pojava nalaze u formiranim intervalima u 90% slučajeva, reći ćemo da je subjekt dobro kalibriran. Ali, ako su tačne vrednosti ređe obuhvaćene ovim intervalima (npr. u 70% slučajeva) onda je DO samouveren u procenama, dok, ako intervali češće sadrže stvarne vrednosti (npr. u 96% slučajeva), on je nesiguran.

1.2. Tačnost iskaza Druga grupa metoda za merenje kalibracije zasniva se na utvrđivanju

tačnosti iskaza. I u okviru ove grupe, koja se u praksi češće koristi, razlikujemo slučajeve "diskretne" i "neprekidne" promenljive.

1.2.1. Diskretna promenljiva Kalibracija tačnosti diskretnih iskaza utvrđuje se različitim metodama koje

možemo svrstati u sledeće četiri grupe (Lihtenštajn i sar. 1982). 1. Bez alternativa - Na postavljeno pitanje (npr. "Šta je gvaš?") nije dat ni

jedan odgovor. Ispitanik sam formuliše odgovar, a zatim mu pripisuje broj od 0 do 1, kojim izražava verovatnoću - stepen uverenosti u tačnost odgovora;

Page 5: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

357

2. Sa jednom alternativom - U odgovoru na pitanje tipa: "Gvaš je vrsta gline. Koja je verovatnoća da je iskaz tačan?" subjekt samo bira broj od 0 do 1, kojim izražava uverenje u tačnost iskaza.

3. Sa dve alternative - U izboru između dve opcije tipa: "Gvaš je : a) Vrsta gline; b) Slikarska tehnika" moguće su dve vrste odgovora: (3a) Metod polovine ranga sprovodi se u dva koraka; ispitanik prvo bira jednu od dve opcije koju smatra tačnom ili verovatnijom, a zatim izabranoj opciji pripisuje verovatnoću od 0,5 do 1. (Najmanja vrednost iznosi 0,5 iz sledećeg razloga: ako ispitanik ne može ni da nasluti tačan odgovor, onda je njegov izbor potpuno slučajan; budući da on bira između dve ponuđene opcije, verovatnoća da će izabrati tačnu alternativu iznosi 0,5.) (3b) Po metodu celog ranga, ispitanik obema alternativama pripisuje verovatnoću iz intervala od 0 do 1, pri čemu zbir verovatnoća treba da je 1.

4. Sa tri ili više (k) alternativa - I u ovom slučaju, na pitanje tipa: "Gvaš je: a) Vrsta gline; b) Slikarska tehnika; c) Pripadnik afričkog plemena; d)..." moguće su dve vrste odgovora: (4a) Prvi podrazumeva da subjekt najpre bira jednu od 3 opcije, a zatim da izabranoj opciji pripisuje verovatnoću tačnosti u intervalu od 1/3 do 1. (U slučaju k opcija, verovatnoća se kreće od 1/k do 1. Po istoj logici kao i u slučaju sa dve alternative, donja granična vrednost (1/k) predstavlja verovatnoću da će DO slučajno izabrati opciju koja je tačna; drugim rečima, to je najmanja verovatnoća koju ispitanik može pripisati tačnosti odgovora.) (4b) Drugi metod je metod celog ranga, gde se svakoj opciji pripisuje verovatnoća tačnosti, pri čemu je njihova suma jednaka 1.

1.2.2. Funkcija gustine Kod testova tačnosti iskaza ovaj metod se svodi na utvrđivanje intervala u

kojem se, sa određenim stepenom uverenja DO-a, nalazi stvarna vrednost pojave. Ispitanici odgovaraju na pitanja tipa: "Koliki je poluprečnik Meseca (u km)? Ako ne znate tačan odgovor, izaberite dve vrednosti (donju i gornju granicu) tako da ste 90% sigurni da se tačan rezultat nalazi unutar formiranog intervala." Testovi se među sobom razlikuju po unapred odabranom stepenu uverenosti; najčešće se koristi uverenost od 0,98, 0,95 i 0,50. (Koliko je nama poznato nije korišćen interval pouzdanosti od 100%.)

1.3. Kriva kalibracije U eksperimentima se, is praktičnih razloga, najčešće koriste testovi sa

pitanjima iz opšte kulture (testovi tačnosti iskaza). Za razliku od testova zasnovanih na verovatnoćama događaja (kod kojih se mora čekati realizacija budućih događaja da bi se utvrdila kalibriranost ispitanika), ovde su eksperimentatoru poznati tačni odgovori, zbog čega se postupak značajno skraćuje i pojednostavljuje. Po pravilu se bira metod 3a (sa diskretnom promenljivom, sa dve alternative i sa polovinom ranga), a rezultati se najčešće prikazuju u vidu tzv. krive kalibracije. Konstrukciju

Page 6: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

358

krive prikazaćemo na sledećem ilustrativnom primeru. Tabela 1. sadrži rezultate ankete gde su odgovori razvrstani po stepenu uverenosti ispitanika u njihovu tačnost.

Tabela 1.

Podgrupa-Stepen

uverenosti

Broj odgovora ni

Prosečan stepen uverenosti pi

Broj tačnih odgovora fi

Proporcija ta-čnih odgovora

ti =

0,5 - 0,59 30 0,53 18 0,60 0,6 - 0,69 63 0,65 35 0,56 0,7 - 0,79 98 0,73 55 0,56 0,8 - 0,89 130 0,86 95 0,73 0,9 - 0,99 70 0,94 60 0,86

1,0 9 1,0 8 0,89

N = 400 p = =0,787 Ni = 271 t = =0,678

1. Neophodan uslov za preciznu konstrukciju krive je da raspolažemo

velikim brojem pitanja i odgovora (u našem primeru N = 400).

2. Dobijene odgovore grupišemo u nekoliko podgrupa, prema stepenu uverenosti koji su subjekti pripisali njihovoj tačnosti. Ako koristimo metod 3a i izaberemo intervale širine 0,1, formiraćemo ukupno šest podgrupa: intervale 0,50-0,59, 0,60-0,69,...,0,90-0,99 i podgrupu sa verovatnoćom 1 (ova poslednja je posebno interesantna, zbog čega se često izdvaja i zasebno analizira, o čemu ćemo kasnije govoriti). Zatim, unutar svake podgrupe izračunavamo prosečan stepen uverenja. Na primer, ako je od ukupno 30 odgovora svrstanih u prvu podgrupu, 10 odgovora dato sa uverenošću od 0,50, a ostalih 20 sa uverenošću od 0,55, prosečan stepen uverenosti za ceo interval iznosi 0,53 ((0,50 ⋅ 10 + 0,55 ⋅ 20)/30 = 0,53).

3. Za svaku podgrupu izračunavamo relativnu frekvenciju (proporciju) tačnih odgovora. Ako je u prvoj podgrupi od 30 odgovora 18 tačnih, proporcija tačnih odgovora je 0,60 (t1 = f1/n1 = 18/30 = 0,60). Da bi se relativne frekvencije mogle tretirati kao verovatnoće (što je posebno važno kod utvrđivanja kalibracije verovatnoća) u svakoj podgrupi mora se naći veliki broj odgovora, zbog čega i anketa mora da sadrži veliki broj pitanja.

fi ni

∑pini

∑ni Ni N

Page 7: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

359

Slika 1.a

4. Nakon što smo za svaku podgrupu utvrdili vrednosti u koracima 2. i 3., u dijagram ucrtavamo tačke čija je apscisna vrednost jednaka prosečnom stepenu uverenosti ispitanika (0,53), a vrednost na ordinati predstavlja proporciju tačnih odgovora (0,60). (Kod testova gde se procenjuju verovatnoće, odgovarajuće parove vrednosti predstavljaju prosečne vrednosti subjektivnih verovatnoća koje su pripisane događajima i empirijske verovatnoće tih događaja.) Potpuna konstrukcija krive kalibracije (prikazane na slici 1.a) podrazumeva da se svakoj ucrtanoj tački pridruži broj koji odgovara veličini odgovarajuće podgrupe (ni).

Na slici 1.b prikazani su različiti oblici krive kalibracije. U slučaju savršene kalibracije, stepen uverenosti jednak je proporciji javljanja događaja, pa kriva kalibracije postaje prava linija pod uglom od 45°. Ako se kriva nalazi ispod ove prave, ona otkriva samouverenost ispitanika, a ako je iznad prave, njihovu nesi-gurnost. U našem primeru (slika 1.a) kriva seče pravu savršene kalibracije i po-kazuje da ispitanici ne moraju biti samouvereni (ili nesigurni) u celom intervalu. Kriva je tada, po pravilu, iznad prave za male vrednosti verovatnoće i ispod prave za vrednosti bliže 1, o čemu ćemo kasnije govoriti. Sposobnost kalibracije je veća što je kriva bliže pravoj.

Page 8: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

360

Slika 1.b.

Ova interpretacija i grafički prikaz važe kada je kriva konstruisana metodom

3a. U slučaju primene metoda bez alternative (1) ili sa jednom alternativom (2), koristi se ceo interval vrednosti od 0 do 1, kada, po mišljenju S. Lihtenštajn i saradnika samouverenost ima dva moguća značenja. Ako je DO neosnovano uveren u tačnost odgovora, kriva se celom dužinom nalazi ispod prave idealne kalibracije. S druge strane, DO može ispoljiti samouverenost u pogledu sposobnosti da razlikuje tačne od netačnih iskaza; tada je kriva iznad prave u intervalu od 0 do 0,5 i ispod prave u intervalu od 0,5 do 1. (Lihtenštajn i sar. 1982)

Ovde je neophodno istaći da pravilna konstrukcija krive kalibracije po-drazumeva da se u grafik pored tačaka obavezno unesu veličine pojedinih podgrupa (ni), jer se isti oblik krive može dobiti za različite strukture odgovora i različito kalibrirane ispitanike. Otuda, kriva kalibracije svojim oblikom i udaljenošću od prave daje samo grubu sliku objektivnosti subjekata u proceni tačnosti njihovih sudova, dok bi se preciznije ocene morale zasnivati na nekoj od mera kalibracije.

Page 9: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

361

2. Mere kalibracije

Izbor mere kalibracije uslovljen je primenjenim metodom tj. vrstom testa koji smo sproveli (da li je reč o diskretnim iskazima ili o oceni funkcija gustine).

2.1. Diskretna promenljiva 1. Najjednostavniji numerički pokazatelj kalibracije u slučaju diskretne

promenljive je razlika između prosečne uverenosti p (proseka svih stepena uverenosti koji su pripisani pojedinim odgovorima u testu) i ukupne proporcije tačnih odgovora, t. U našem primeru razlika je p - t = 0,787 - 0,678 = 0,109 iz čega sledi da su ispitanici samouvereni (razlika je pozitivna) i da je stepen samouverenosti 10,9% (0,109 ⋅ 100). Mera je gruba, neprecizna, a ponekad vodi pogrešnim zaključcima. Na primer, DO može imati prosečnu uverenost 78,7% i isti procenat tačnih odgovora, a da ipak ne bude savršeno kalibriran. Moguće je da je on u jednom segmentu nedovoljno samouveren, a u drugom u istom stepenu preterano samouveren; ipak, navedena mera kalibracije biće jednaka 0 i ukazivaće na savršeno kalibriranu osobu. (Plous, 1993).

2. Preciznija mera podrazumeva ispitivanje odnosa između stepena uve-renosti i tačnosti na celoj dužini intervala uverenosti (u našem primeru od 0,5 do 1), uzimajući u obzir i zastupljenost odgovora unutar pojedinih podgrupa. Mera koju su predložili Lihtenštajn i Fišof 1977. godine predstavlja ponderisanu aritmetičku sredinu razlika između prosečnih stepena uverenosti u pojedinim podgrupama i odgovarajućih proporcija tačnih odgovora:

I

1/N ⋅ ∑ ni (pi - ti); i=1

N je ukupan broj odgovora, i je broj podgrupa, ni je broj odgovora u i-toj podgrupi, pi je prosečan stepen uverenosti, a ti je proporcija tačnih odgovora u i-toj podgrupi.

Rezultat jednak nuli pokazuje da je DO savršeno kalibriran, negativan predznak da je nesiguran, a pozitivan da je on samopouzdan. (U našem primeru izračunata vrednost je 11,98% što ukazuje na samopouzdanost ispitanika.)

Ipak, i u ovom slučaju numerička vrednost nas može navesti na pogrešan zaključak. Pretpostavimo, na primer, da je broj odgovora unutar šest podgrupa isti (ni=n), kao i da proporcija tačnih odgovora u svakoj podgrupi iznosi 75%. Ako je stepen uverenosti u prve tri podgrupe niži a u preostale tri grupe viši za isti procentualni iznos, onda je DO u polovini slučajeva nesiguran, a u drugoj polovini samouveren, dok će vrednost pokazatelja biti 0.

Page 10: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

362

Moguće je da različitim subjektima odgovara isti oblik krive kalibracije i različite vrednosti ovog pokazatelja; kako je oblik krive određen skupom parova (pi, ti) za sve podgrupe, on u ovom slučaju mora biti isti za sve subjekte; razlike su u broju odgovora po pojedinim podgrupama (ni), ponderima, zbog kojih se i vrednosti pokazatelja razlikuju.

3. Najpreciznija mera koja se i najčešće koristi je tzv. Brierov koeficijent.

Ovde ćemo se, radi jednostavnosti, ograničiti na slučaj sa dve alternative (Keren, 1991. Za slučaj sa više alternativa videti u Lihtenštajn i sar., 1982):

N

BR = 1/N ⋅ ∑ (pj - cj)2, j=1

pj (j = 1, 2, ... , N) je stepen uverenosti (verovatnoća) koju je DO pripisao odgovoru na j-to pitanje, a cj je promenljiva koja je jednaka 1 kada je odgovor tačan i 0 kada je pogrešan. Budući da odgovore grupišemo u i podgrupa veličine ni (po sličnosti pripisanih verovatnoća), BR izračunavamo primenom sledeće formule:

I ni

BR = 1/N ⋅ ∑ ∑ (pi - cij)2; i=1 j=1

gde pi predstavlja prosečan stepen uverenosti u i-toj podgrupi. U slučaju savršenog predviđanja događaja (ili savršenog znanja) i idealne kalibracije BR ima vrednost 0. U našem primeru je BR = 0,22.

Budući da dobra procena verovatnoće zavisi od nekoliko činilaca, njenu

dublju analizu sprovodimo dekomponovanjem vrednosti BR koeficijenta. Na taj način otkrivamo moguće uzroke slabih procena verovatnoća, a time stvaramo osnovu za njihovo otklanjanje i poboljšanje predviđanja. Sledeću dekompoziciju predložio je Marfi 1972 i 1973. (prema Lihtenštajn i sar. 1982):

I I

BR = C (1 - C) + 1/N ∑ ni (pi -Ci)2 - 1/N ∑ ni (Ci -C)2 i=1 i=1

C je ukupna proporcija tačnih prognoza, a Ci je proporcija tačnih prognoza u podgrupi i, Ci = 1/ni Σj

ni

=1 Cij . U našem primeru dobijamo:

0,220 = 0,218 + 0,016 - 0,014

Prvi član se naziva indeks ishoda i zavisi od proporcije potvrđenih prognoza,

odnosno, od proporcije tačnih odgovora.

Page 11: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

363

Drugi član je kalibracija; kao ponderisani prosek sume kvadrata razlika između pripisanih verovatnoća (stepena uverenosti) i relativnih frekvencija doga-đaja (ili proporcija tačnih odgovora) po pojedinim podgrupama, ova komponenta meri odstupanje krive kalibracije od idealne prave.

Treći član je rezolucija i predstavlja varijansu pripisanih verovatnoća. U slučaju procene verovatnoće događaja ova komponenta odražava sposobnost DO-a da pravi razlike u verovatnoćama različitih događaja; kod testova tačnosti iskaza ona pokazuje sposobnost DO-a da razvrsta iskaze u podgrupe unutar kojih se proporcije tačnih odgovora razlikuju od ukupne proporcije tačnih odgovora. Ako je vrednost rezolucije 0, DO nije suptilan prognozer, jer svim događajima pripisuje istu verovatnoću.

U praksi, vrednost BR je prevashodno određena vrednošću prvog člana i relativno je neosetljiva na promene ostalih sabiraka. Drugim rečima, znanje je dominantna komponenta BR, zbog čega treba biti obazriv pri interpretaciji empirijskih rezultata. Za razliku od prvog člana, drugi i treći u izvesnom smislu mere veštinu subjekata. Ove dve komponente su među sobom zavisne, pri čemu postoji izvestan konflikt između dobre kalibracije i dostizanja visoke rezolucije. (O tome opširnije videti u Keren,1991).

Osim koeficijenta BR predloženo je još nekoliko mera kalibracije koje se malo koriste zbog svoje preterane složenosti i nedovoljno jasnog značenja nekih sastavnih komponenti. Napomenimo da ni jedna od navedenih mera ne pravi razliku između nesigurnosti i samouverenosti DO-a. Najzad, treba biti obazriv i u donošenju stati-stičkih zaključaka jer je raspored BR (i drugih koeficijenata) uzorka nepoznat.

2.1. Funkcija gustine verovatnoće U slučaju neprekidne promenljive (tj. određivanja funkcije gustine vero-

vatnoće) kalibracija bi trebalo da meri stepen u kojem rasporedi verovatnoće "odgovaraju stvarnosti". Kako umesto pojedinih rasporeda verovatnoća subjekti određuju intervale pouzdanosti, treba ispitati u koliko slučajeva ovi intervali sadrže stvarnu vrednost promenljive. Podsetimo se, ako u dugom nizu prognoza intervali sadrže tačne vrednosti u procentu koji je jednak stepenu uverenja sa kojim su intervali određeni, onda je DO savršeno kalibriran. Mere kojima se ocenjuje objektivnost subjekta su "interkvartilni indeks" i "indeks iznenađenja".

1. Interkvartilni indeks je proporcija tačnih odgovora koji se nalaze u

intervalu omeđenom prvim i trećim kvartilom. Budući da se prvi i treći kvartil poklapaju sa 25. i 75. fraktilom, formirani interval obuhvata 50% vrednosti pro-menljive X. Otuda, vrednost indeksa idealno kalibriranog subjekta iznosi 0,50 (50%), dok svaka vrednost manja od 0,50 otkriva samouverenog, a veća, nesigurnog subjekta.

2. Indeks iznenađenja predstavlja procenat netačnih odgovora, tj. situacija u kojima intervali poverenja ne sadrže stvarne vrednosti pojave. Na primer, ako DO sa uverenošću od 95% očekuje da interval koji je formirao sadrži tačnu vrednost, i

Page 12: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

364

ako se stvarna vrednost nađe van tog intervala, onda je on iznenađen ishodom događaja ili tačnim odgovorom. Ako je DO savršeno kalibriran, indeks će u ovom slučaju biti 5% (100-95=5%), tj. samo u 5% slučajeva tačna vrednost će se naći van izabranih granica. Indeks iznenađenja izračunava se, po pravilu, za najekstremnije fraktile (1. i 99.) i u idealnom slučaju iznosi samo 2%, dok svaka veća vrednost ukazuje na samouverenog subjekta.

3. Rezultati eksperimenata

Brojni eksperimenti, od kojih je većina sprovedena u poslednjih trideset godina, a neki datiraju s početka ovog veka, omogućili su da se uobliče sledeći zaključci:

1. Subjekti ispoljavaju neosnovanu sigurnost u tačnost vlastitih sudova - Ovaj

zaključak odnosi se posebno na testove tačnosti iskaza sa pitanjima iz opšte kulture. Brojni eksperimenti u kojima su korišćeni metodi 3a i 3b pokazuju da su različite grupe ispitanika (vojna lica, analitičari zaposleni u različitim institutima, agenti CIA, studenti i dr.) ispoljile preteranu samouverenost. Krive kalibracije bile su često daleko ispod prave idealne kalibracije. (Lihtenštajn i sar. 1982).

I testovi znanja u kojima su subjekti formirali intervale pouzdanosti poka-zuju, bez izuzetka, njihovu veliku samouverenost, što ilustruju rezultati u tabeli 2. (Ruso i Šumejker, 1989):

Tabela 2.

Vrsta Indeks iznenađenja Ispitanici pitanja Idealan Zabeležen

Post.dipl. na Harvardu Opšte obrazovanje 2% 46%

Zaposleni u hemijskoj industriji

Stručna (o hem.ind.) Činjenice o firmi

10% 50%

50% 79%

Menadžeri zaposleni u kompjuterskoj firmi

Opšta o biznisu Činjenice o firmi

5% 5%

80% 58%

Lekari Verovatnoća da pacijent ima zapaljenje pluća 0-20% 82%

2. Sa porastom težine pitanja raste i samopouzdanje - Samopouzdanje zavisi

od težine pitanja. Kod lakih pitanja subjekti čak pokazuju nesigurnost, dok se sa porastom težine pitanja samopouzdanost povećava.

Page 13: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

365

U eksperimentima koje su izveli Lihtenštajn i Fišof 1977, ispitanici su rešavali veoma teške ("u suštini nemoguće") zadatke: pogađali su da li prikazani rukopisi pripadaju Evropljanima ili Amerikancima, da li su crteže nacrtala deca iz Evrope ili iz Azije, i predviđali su da li će doći do porasta ili pada cena na veliko. Krive kalibracije, konstruisane na osnovu odgovora, nisu pokazivale uzlaznu tendenciju celom dužinom intervala od 0,5 do 1, što ukazuje na visoku samouverenost. Mada subjekti pojedinim odgovorima nisu pripisivali visoke nivoe uverenosti, procenat tačnih odgovora bio je znatno manji od pripisanih verovatnoća (npr., u eksperimentu sa dečijim crtežima, 53% zaključaka je bilo tačno, dok je prosečna uverenost iznosila 68%; Plous, 1993).

Iste godine ovi autori zaključuju i da stepen uverenosti opada sa smanjenjem težine pitanja. Nakon sprovedenog testa tipa 3a iz opšteg obrazovanja, oni su odvojili laka od teških pitanja (po procentu tačnih odgovora svih ispitanika), kao i obrazovane od manje obrazovanih subjekata. Utvrdili su da uverenost sistematski opada sa porastom učešća tačnih odgovora; obrazovani subjekti su u odgovorima na laka pitanja pokazali čak i nesigurnost (učešće tačnih odgovora iznosilo je 90%, dok je prosečan stepen njihove uverenosti bio 80%).

Dok je težina pitanja u navedenim eksperimentima određena ex post, na osnovu procentualnog učešća tačnih odgovora svih ispitanika, u kasnijim ekspe-rimentima Lihtenštajn i Fišof (1980) nastoje da je objektivno odrede. U testu tipa 3a sa 500 pitanja iz opšteg obrazovanja, težina svakog pitanja je zasebno utvrđena. Ispitanici su odgovarali na tri vrste pitanja ("Koji od dva grada (države ili kontinenta) ima više stanovnika?"; "Koji od dva grada je udaljeniji od trećeg?" i "Koji od dva istorijska događaja se dogodio prvi?"), a podela na laka i teška je izvedena na osnovu odnosa između vrednosti odgovora, tj. količnika između veće i manje vrednosti ponuđenih alternativa. U grupi od 250 lakih pitanja (kod kojih je količnik između dve vrednosti bio veliki) učešće tačnih odgovora je iznosilo 81%, dok je u drugoj grupi (od preostlih 250) teških pitanja bilo 58% tačnih odgovora; i u ovom slučaju zabeležena je samouverenost u grupi teških pitanja i nedovoljna uverenost u grupi lakih, što je po mišljenju autora opravdalo primenjeni kriterijum za klasifikaciju pitanja.

Posle nekoliko dopunskih studija ovi autori su zaključili da je samouverenost najveća kod najtežih pitanja kod kojih je tačnost bliska nivou slučajnog izbora (npr., ako u slučaju izbora između dve alternative ona iznosi 50%); sa smanjenjem težine pitanja ispitanici su sve objektivniji, tako da se njihova samouverenost praktično gubi pri tačnosti od 80%, dok za veću tačnost oni po pravilu ispoljavaju nesigurnost.

3. Potpuna (100%) sigurnost u tačnost iskaza ne povlači obavezno i njihovu

tačnost - Posebno interesantan je granični slučaj, kada su subjekti potpuno sigurni u tačnost svojih odgovora. U eksperimentu Fišofa, Slovica i Lihtenštajn 1977, ispitanici su poredili uzroke smrti po parovima (npr., ubistva - dijabetes, saobraćajne nesreće - rak pluća, i sl.) i birali su češći od dva uzroka. U grupi onih odgovora u čiju su tačnost subjekti bili 100% sigurni (stepen uverenosti iskazivali su odnosima 10000:1, 100000:1 i 1000000:1, što odgovara verovatnoćama od 0,999 i 1) procenat tačnih odgovora iznosio je svega između 81-90%.

Page 14: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

366

Isti autori otkrivaju samouverenost ispitanika i u drugom eksperimentu sa pitanjima iz opšte kulture, u kojem su subjekti bili materijalno stimulisani da objektivno procene svoje znanje. Subjektima je ponuđena novčana opklada, koju je većina prihvatila. Od 19 ispitivanih njih trinaestoro je i pored prihvaćene opklade imalo 12% netačnih odgovora zbog čega bi pretrpelo značajne materijalne gubitke (za svaki netačan odgovor pri uverenosti od 50:1 ili većoj, subjekt je plaćao 1$; na kraju eksperimenta novac im je vraćen). Otuda, zaključujemo da subjekti mogu biti neosnovano samouvereni i u slučajevima kada su potpuno sigurni u ispravnost svojih odgovora i kada zbog toga mogu snositi nepovoljne posledice. (Slovic i sar., 1982).

Primer dramatičnih posledica koje može imati neosnovana samouverenost subjekata nalazimo u radu Bedau i Radelet (1987.). Autori su otkrili 350 pogrešnih presuda u SAD, u kojima su nedužni ljudi bili osuđeni za zločine prvog stepena na najstrože kazne (25 godina, doživotnu robiju ili smrtnu kaznu), iako su proglašeni "krivim izvan razumne sumnje". Samo u 5 slučajeva greška je ustanovljena pre izvršenja ili izdržavanja kazne, dok su 23 osobe pogubljene (Plous, 1993).

4. Dobra kalibracija nije obavezno odlika eksperata u svim oblastima - Jedno

od pitanja koje je zaokupljalo analitičare je i da li su eksperti dobro kalibrirani, odnosno da li znanje i iskustvo subjekta povlače za sobom i njegovu realnost u proceni vlasitih sudova.

Na osnovu brojnih eksperimenata koji su izvedeni od početka 50-tih godina

do danas, primećeno je da su meteorolozi veoma dobri prognozeri verovatnoća,2

kao i igrači bridža i profesionalni kladioničari na konjskim trkama. S druge strane, eksperimenti sprovedeni među vrhunskim menadžerima,

hemičarima, fizičarima, lekarima i dr. pokazuju da dobra kalibracija nije prateća karakteristika svih eksperata. Rezultat koji su objavili Kristensen-Salanski i Bušihed (Christensen-Szalanski i Bushyhead, 1981, prema Lihtenštajn i sar., 1982) odnosi se na tačnost dijagnoza i uverenost 9 lekara koji su pregledom 1531 pacijenta na osnovu kašlja svakom pripisali verovatnoću zapaljenja pluća. Celom dužinom intervala njihovih subjektivnih verovatnoća kriva kalibracije je neznatno

———————— 2 Prva merenja kalibracije verovatnoće vezana su za meteorološke prognoze 1906;

predložio ih je australijski astronom E. Cooke, koji je sugerisao da svaka meteorološka prognoza treba da bude propraćena brojem koji bi odražavao verovatnoću koju prognozer pripisuje prognozi. Njegova analiza, zasnovana na predviđanju iz 1951. pokazala je visok stepen tačnosti rezultata. Rezultati eksperimenata sprovedenih od 1951.god. do danas (Vilijems 1951, Sanders, 1958, Marfi i Vinkler 1968, 1974. i 1977, prema Lihtenštajn i sar., 1982) pokazuju da meteorolozi beleže visoku preciznost u svojim prognozama, sa veoma blago izraženim precenjivanjem verovatnoća javljanja nekih događaja. Ovde se često kao razlog češće prognoze nevremena od njegovog stvarnog javljanja navodi i činjenica da se meteorolozi u neizvesnim situacijama svesno opredeljuju za prognozu kiše, jer podležu manjoj javnoj kritici kada prognoziraju nevreme kojeg nema nego obratno.

Page 15: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

367

rasla, pokazujući veoma visok nivo samopouzdanja; npr., za nivo uverenosti od 88%, procenat pacijenata stvarno obolelih od zapaljenja pluća iznosio je samo 20%.

Budući da znanje nije odlučujući faktor koji određuje valjanost kalibracije, postavlja se pitanje šta izaziva razlike među ekspertima. Rezultati upućuju na zaključak da je kalibracija bolja u onim oblastima gde se predviđaju uvek isti, jednostavni događaji koji se ponavljaju u kratkom vremenskom roku; njihove relativne frekvencije su poznate, a greške u njihovoj proceni lako se uočavaju i koriguju zbog dostupne povratne informacije. Prateći godinama vremenske prognoze, Marfi i Vinkler konstatuju da je kalibracija meteorologa sve bolja, što pripisuju učenju meteorologa iz brzih i sve preciznijih povratnih informacija.

5. Ne postoji korelacija između tačnosti i stepena uverenosti - DO može biti

samouveren a da ipak postoji savršena korelacija između tačnosti njegovih sudova, s jedne, i stepena uverenosti u njihovu tačnost, s druge strane. Na primer, ako procentima tačnih odgovora od 50%, 60%, 70% i 80% odgovaraju stepeni uverenosti od 60%, 70%, 80% i 90%, DO je samouveren (10%) ali je njegova samouverenost u savršenoj korelaciji sa tačnošću njegovih odgovora. Visoka pozitivna korelacija bi omogućila da na osnovu stepena samouverenosti sa kojim DO tvrdi da je iskaz tačan sudimo o stvarnoj tačnosti njegovih iskaza; u protivnom, samouverenost može biti pogrešan indikator tačnosti.

Brojni eksperimenti potvrđuju zaključak da između tačnosti i uverenosti subjekata ne postoji korelacija. Tako su Zimbardo i Plous opisali 10 slučajeva vojnih intervencija ili političkih sukoba čiji su glavni akteri bile SAD ili SSSR (Zimbardo & Plous, 1984, prema Plous, 1993). U opisima su izostavili one detalje koji bi omogućili laku identifikaciju jedne od dve zemalje. Trebalo je da čitaoci prepoznaju o kojoj je supersili reč i da svakom odgovoru pripišu stepen uverenosti koristeći skalu sa 9 nivoa. Na osnovu odgovora 3500 čitalaca autori su zaključili da Amerikanci ne prave kvalitativnu razliku između sovjetske i američke politike, jer se prosečan broj tačnih odgovora (4,9) neznatno razlikovao od očekivanog broja tačnih odgovora da su ih čitaoci birali potpuno slučajnim putem (5). Drugi zaključak je da između stopa uverenosti i tačnosti ne postoji korelacija (prosečan koeficijent korelacije za svakog ispitanika iznosio je samo 0,08). Ispitanici sa velikim brojem tačnih odgovora su ispoljili isti stepen uverenosti kao i oni manje uspešni, a veoma samouvereni subjekti su bili podjednako u pravu kao i oni manje sigurni.

Odluke sudija i članova porote u američkom sudstvu u velikoj meri zavise od samouverenosti svedoka prilikom davanja izjava. Kredibilitet svedoka često je određen stepenom njegove sigurnosti u istinitost vlastitog svedočenja. Koliko je ovo stanovište pogrešno vidimo iz brojnih eksperimenata koji, bez izuzetka, pokazuju da veća uverenost ne znači i veću tačnost. U jednom od prvih eksperimenata u ovoj oblasti, psiholog Štern (Stern, 1906, prema Ruso i Šumejker, 1989) je grupi od 30 ispitanika pokazao tri jednostavne fotografije, nakon čega su oni u pismenoj formi opisivali ono što su videli, naglašavajući posebno detalje u čiju istinitost bi se mogli zakleti. Od 63 takve izjave, 50 je sadržalo grešku. Od tada do danas objavljeno je mnogo radova sa istom problematikom. U jednom od njih, Vels i Marej, 1984.

Page 16: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

368

(prema Ruso i Šumejker, 1989) su sačinili pregled 31 studije u kojima se razmatra problem neosnovane uverenosti svedoka očevidaca; autori su izračunali da je prosečni koeficijent korelacije između preciznosti i uverenosti u svim slučajevima posmatranim zajedno iznosio samo 0,07.

Navedeni rezultati, po rečima E. Loftus (autorke knjige Svedočenja oče-vidaca, 1979, prema Plous, 1993), jasno pokazuju da visok stepen uverenosti ne predstavlja nikakvu garanciju.

6. Sa porastom količine prikupljenih informacija raste samouverenost subjekta

ali ne i tačnost njegovih zaključaka - Još 1965. Oskamp (Oscamp, 1982) je izveo eksperiment sa ciljem da ispita da li je porast uverenosti psihologa u postavljenu dijagnozu (koji se javlja sa porastom količine korišćenih informacija), propraćen i stvarnim porastom tačnosti dijagnoze. Eksperiment je obuhvatio 8 kliničkih psihologa (5 doktora nauka), 18 dipl. psihologa i 6 studenata završne godine psihologije. Ekspe-rimentom je simulirana klinička situacija, pa je uzet stvarni slučaj relativno normalne osobe koja nije bila psihijatrijski hospitalizovana i predstavljala je slučaj adolescentske neprilagođenosti. Eksperiment je sproveden u 4 etape.

U prvoj etapi psiholozi su dobili sledeću informaciju o pacijentu: "JK je star 29 godina, belac, neoženjen, veteran iz II svetskog rata. Diplomirao je na koledžu i radi kao asistent-menadžer u cvećarskoj dekoraterskoj radnji." U drugom delu priloženi su im materijali u kojima se razmatra njegovo detinjstvo do 12. godine (1,5 gusto kucane strane), u trećoj etapi, srednja škola i studije (2 strane), i u četvrtoj etapi informacije o vojnom roku i kasnijim aktivnostima (1,5 strane).

Test se sastojao od 25 pitanja sa po pet ponuđenih odgovora. Odgovori na pitanja mogli su biti izvedeni na osnovu informacija sadržanih u materijalima, pri čemu je svakom izabranom odgovoru ispitanik pripisivao i procenu tačnosti. (Zbog pet ponuđenih odgovora, stope uverenosti su se kretale od 20% (1/5=0,20), za potpuno slučajan izbor, do 100%, za siguran.) Posle svake dopunske informacije subjekti su odgovarali na istih 25 pitanja, ukupno četiri puta.

Tri grupe ispitanika nisu ispoljile značajne razlike u rezultatima, pa ih je Oskamp posmatrao kao jedinstvenu grupu. Pokazalo se da sa porastom količine informacija raste i uverenost subjekata ali ne i tačnost njihovih zaključaka. Posle prve etape, tačnost i uverenost ispitanika nisu se značajno razlikovale (26% prema 33%), ali je sa porastom informacija ovaj raskorak postajao sve veći, da bi na kraju eksperimenta tačnost neznatno porasla (28%) dok se prosečna uverenost povećala na 53%, a 90% subjekata je ispoljilo samouverenost.

Prateći prosečan broj promena odgovora po pojedinim fazama, Oskamp primećuje da sa porastom informacija broj promena opada, iz čega zaključuje da psiholozi u ranoj fazi, na osnovu nepotpunih podataka, formiraju stereotip koji kasnije nerado menjaju sa novim informacijama. Autor konstatuje da su dopunske informacije više služile kao potvrda prethodnih zaključaka nego kao podsticaj za promenu slike ličnosti. Ipak, ove neprijatne zaključke Oskamp iznosi sa rezervom, navodeći kao potencijalne izvore grešaka specifičnost razmatranog slučaja, zatim razliku između prakse i eksperimenta (posebno, u pogledu korišćenih pitanja) i mogućnost da izabrani uzorak nije bio reprezentativan. (Oscamp, 1982).

Page 17: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

369

Do sličnog rezultata je došao i (Slovic i sar., 1982) koji je na uzorku od 8 eksperata ispitivao uticaj različitih količina informacija na sposobnosti predviđanja plasmana trkačkih konja. U prvoj fazi eksperti su lično izabrali pet najznačajnijih pokazatelja i svoje prognoze su zasnivali na vrednostima ovih pokazatelja iz brojnih prethodnih trka. U sledećim koracima predviđanja su se bazirala na sve većem broju lično izabranih pokazatelja (10, 20 i 40). Dok je stepen uverenosti u tačnost prognoza rastao sa porastom informacija, tačnost njihovih prognoza je ostala na istom nivou, a kod trojice eksperata se čak smanjila. (Napomenimo da je ovaj eksperiment Slovic izveo sa ciljem da pokaže da previše informacija može da šteti i da ima nepovoljne efekte na zaključke i odluke subjekata.)

7. Na samouverenost subjekta utiče i svest o mogućoj potrebi da on svoje

izbore treba javno da "brani". Arks, Kristijansen, Lai i Blumer (Arkes, Christiansen, Lai i Blumer, 1987, prema Snizek i Buckley, 1993) su pokazali da se samouverenost subjekata (u testovima iz opšte kulture) značajno smanjila kada su oni pretpostavljali da će svoje odgovore obrazlagati pred grupom; pri tome nije jasno kako se proces donošenja sudova menjao pod uticajem ove pretpostavke. Autori konstatuju da je stepen uverenosti subjekata uslovljen anticipiranim socijalnim kontekstom, nezavisno od toga da li će se on stvarno i realizovati.

8. Pored navedenih rezultata, pojedinim eksperimentima je ispitivan i uticaj

nekih drugih faktora na kalibraciju, ali dobijeni rezultati nisu među sobom saglasni već ponekad upućuju na suprotne zaključke. Na primer, Lihtenštajn i Fišof su zaključili da kalibracija ne zavisi od inteligencije i pola,3 dok Zimbardo i Plous konstatuju da muškarci ispoljavaju veću samouverenost.4

Bilo je i pokušaja da se utvrdi uticaj različitih kultura na probabilističke sudove subjekata i na njihovu kalibriranost. U eksperimentu koji je grupa autora sprovela na pet univerziteta V. Britanije, Hong Konga, Indonezije i Malezije, između posmatranih grupa studenata nisu primećene značajne razlike u znanju (procentu tačnih odgovora) ali su razlike u probabilističkim iskazima i kalibraciji bile značajne. Studenti iz Azije su češće izražavali uverenost od 100% (studenti iz Malezije čak u 51% slučajeva, za razliku od Britanaca koji su bili "sigurni" u 13% slučajeva). Britanski studenti su bili bolje kalibrirani, tj. ispoljili su manju samo-uverenost od svojih kolega (Wright, 1984).

———————— 3 Prvi zaključak autori su izveli na osnovu eksperimenta iz 1977.god., u kojem su poredili

rezultate studenata psihologije (koji su, po njihovoj pretpostavci, inteligentniji od prosečnih ispitanika) i srednjoškolaca koji su se sami prijavili na novinski oglas; isti autori 1981.god. zaključuju da između muškaraca i žena nema razlike ni u kalibraciji ni u stepenu samo uverenosti . (Lihtenštajn i sar., 1982).

4 U opisanom eksperimentu Zimbarda i Plousa (1984) autori konstatuju da se veoma uvereni ispitanici razlikuju od ostalih, pored ostalog, po polu i starosti. Naime, u grupi subjekata koja je pokazala najveći stepen uverenosti , 2/3 su bili muškarci (mada su u eksperimentu polovi bili jednako zastupljeni), a 4/5 subjekti stariji od 30 godina. (Plous, 1993).

Page 18: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

370

9. Postavlja se pitanje da li su rezultati dobijeni primenom navedenih metoda saglasni sa mišljenjem subjekata o tačnosti njihovih sudova. U brojnim eks-perimentima koji su izvedeni poslednjih godina (Sniezek i Switzer 1989, Sniezek i Olson 1990, Trafimow i Sniezek 1993 i dr. prema Sniezek i Buckley, 1993) ispitanici su nakon završenog testa procenjivali tačnost svojih odgovora u celini. Za razliku od samopouzdanja koje su ispoljili u pojedinačnim odgovorima, u ocenjivanju globalnog uspeha oni su pokazali čak izvesnu nesigurnost; nije redak slučaj da su globalnom uspehu subjekti pripisivali vrednost manju od očekivanog učešća tačnih odgovora pri slučajnom izboru. Na primer, u eksperimentu Snizek i Svicera (1989), u kojem je zabeleženo 53% tačnih odgovora, prosečan stepen uverenosti subjekata u pojedinačne odgovore iznosio je 62% (samouverenost), dok je ocenjeno učešće tačnih odgovora bilo samo 49% (nesigurnost). Ovaj fenomen zabeležen je u svim eksperimentima, bez izuzetka, i u literaturi se naziva paradoksom nedovoljne - prekomerne uverenosti.

Po mišljenju Snizek i Baklija paradoks nastaje usled činjenice da se procedure kojima subjekti ocenjuju subjektivne verovatnoće događaja razlikuju od procedura kojima ocenjuju ukupno učešće svojih tačnih odgovora. Autori smatraju da subjekti imaju istovremeno dva kontradiktorna stava o valjanosti svojih sudova i izbora, što potkrepljuju činjenicom da je koeficijent korelacije između ovih veličina blizak nuli.

4. Kako poboljšati kalibraciju?

Samouverenost subjekata u većini realnih situacija iznosi u proseku 10-20% i bitno ne utiče na rezultate odluka. Ponekad je i poželjna. Na primer, subjekt koji je uveren u ispravnost donete odluke biće istrajniji u fazi njene realizacije i time poboljšati konačan rezultat; takođe, ovakvim stavom subjekt može pridobiti okolinu koja svojom dopunskom podrškom može promeniti okolnosti, odnosno, povećati objektivne šanse da se željeni ishod realizuje.

S druge strane, brojni su slučajevi kada je samouverenost nepoželjna ili opasna, posebno kada je DO potpuno siguran u ispravnost vlastitog suda. Na primer, gotovo neverovatno zvuči da se u broju od 16. XI 1929. časopisa Weekly Letter Harvardskog ekonomskog društva našla sledeća konstatacija: "Oštra depre-sija poput one iz 1920-21. je van domena verovatnog." (Ruso i Šumejker, 1989) Greške sa katastrofalnim posledicama (poput eksplozije šatla, havarija u nuklearnim elektranama i sl.) mogu se javiti zbog zanemarivanja činjenice da se brojni, beznačajno mali individualni rizici među sobom ne potiru već sabiraju ili multiplikuju. Drugim rečima, uzroci kobnih posledica mogu ležati u neosnovanoj uverenosti subjekata u tačnost njihovih pogrešnih sudova ili loših procena verovatnoća događaja.

Nesigurnost subjekta, takođe, može uticati na ishode odlučivanja. Ako, na primer, nedovoljno siguran DO odluči da pribavi dopunske informacije i na osnovu njih promeni prvobitnu odluku i izabere bolju alternativu, efekti njegove

Page 19: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

371

nesigurnosti su pozitivni. Nasuprot tome, ako je nesiguran u svoj izbor, DO se neće dovoljno zalagati u sprovođenju dobre odluke ili će je nepotrebno odlagati, zbog čega pravi efekti mogu izostati.

Otuda se u teoriji potpuna objektivnost subjekta smatra "idealom", pa se nameće pitanje kako poboljšati kalibraciju i postati objektivniji u proceni tačnosti vlastitih sudova.

U nekim eksperimentima je bilo pokušaja da se kalibriranost subjekata poboljša tako što im se u različitim fazama eksperimenta pružao uvid u do tada postignute rezultate. U testovima sa procenom verovatnoća događaja povratna informacija je pozitivno uticala na kalibriranost subjekata u proceni verovatnoća sličnih događaja. Ali, u testovima tačnosti iskaza, sa pitanjima iz opšteg obra-zovanja, povratna informacija nije bila dovoljna da poboljša kalibriranost; subjekti su korigovali svoje procene (povećavali ili smanjivali verovatnoće) u cilju postizanja veće preciznosti, a da zapravo nisu postali i bolje kalibrirani; skromni pomaci koji su postignuti u konkretnim eksperimentima nisu se odrazili na kalibriranost istih subjekata u drugim zadacima.

Ipak, kalibriranost se može poboljšati primenom nekih tehnika. Na primer, umesto da prevashodno tražimo argumente koji podržavaju tačnost naših sudova i prognoza, postupkom navođenja razloga protiv treba da nalazimo razloge zbog kojih možda grešimo u zaključku. Predložili su ga Koriat, Lihtenštajn i Fišof 1980 (prema Lihtenštajn i sar., 1982), na osnovu rezultata eksperimenta koji su sproveli u tri faze. U prvoj fazi, dve grupe ispitanika odgovarale su na test tipa 3a od 30 pitanja iz opšteg obrazovanja, i obe su ispoljile samouverenost. Prva grupa ispitanika je zatim dobila 10 novih pitanja, gde je, pre konačnog izbora i pripisivanja verovatnoće svakom odgovoru trebalo da izlista sve argumente za i protiv za obe opcije. Kalibracija se značajno poboljšala, a otkriven je tzv. konfirmacioni bijas, tj. tendencija subjekata da favorizuju argumente u prilog izabrane alternative. Druga grupa ispitanika je u drugom delu testa odgovarala na novih 30 pitanja. Nakon izbora odgovora ispitanik je trebalo da napiše: a) razlog koji podržava izabranu alternativu; b) razlog koji protivreči izabranoj alternativi, ili c) po jedan argument za i protiv, i da zatim odgovoru pripiše stepen uverenja. Kada su subjekti navodili razloge u prilog izabranih opcija samouverenost se nije smanjila, ali se kalibriranost povećala kada su navodili razloge protiv. Otuda, autori sugerišu da bi osoba, čak i ako je sigurna u svoj odgovor, trebalo da razmotri razloge zbog kojih njen izbor ne mora biti tačan; i u slučaju da ne promeni svoje mišljenje, njeni sudovi će biti bolje kalibrirani. Ipak, treba reći da rezultati kasnijih eksperimenata Fišofa i Mek Gregora 1982, i Trafimova i Snizek 1993. (prema Sniezek i Buckley 1993), u kojima je korišćena tehnika "navođenja razloga protiv" pokazuju da je njen uticaj na kalibriranost subjekata skroman.

Verovatnoću događaja ocenićemo preciznije ako zamislimo da se događaj već realizovao i ako se potrudimo da navedemo sve uzroke koji su ga mogli izazvati. U eksperimentu Rusoa i Šumejkera (1989), grupa menadžera i studenata je trebalo da utvrdi moguće razloge zbog kojih bi novi službenik napustio firmu u prvih 6 meseci; u prvoj grupi, koja je razmatrala samo mogućnost njegove ostavke, prosečan broj navedenih razloga je bio 3,5, dok je u drugoj grupi, kojoj je rečeno da

Page 20: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

372

je službenik već napustio firmu, prosečan broj razloga iznosio 4,4, a navedeni uzroci su bili mnogo konkretniji.

5. Koncepcijski i metodološki problemi

1. Osnovni problem koji je prisutan u merenju kalibracije je tzv. problem dualiteta, tj. činjenica da probabilistička tvrđenja sa kojima operišemo imaju različita značenja. U odgovorima ispitanika prisutna je subjektivna verovatnoća; ona odražava lični stav pojedinca i nju ne bi trebalo tretirati kao tačnu ili pogrešnu. S druge strane, za procenu tačnosti sudova pojedinca koristimo "objektivnu" verovatnoću, tj. relativnu frekvenciju javljanja događaja. Ovom problemu se u studijama o kalibraciji ne pridaje poseban značaj; iz praktičnih razloga nekon-zitentnost se zanemaruje i subjektivne verovatnoće se vrednuju "frekventističkim" sredstvima.

Ipak, zbog problema dualiteta izvedeni zaključci nisu uvek održivi. Posma-trajmo dva ekstremna slučaja, kada je subjekt savršeno siguran u tačnost svojih sudova i kada je potpuno nesiguran. U prvom slučaju, ako je u grupi odgovora sa pouzdanošću od 100% učešće njegovih tačnih odgovora manje od 1 (100%), mogli bismo da ga smatramo neobjektivnim, pa i samouverenim. U drugom slučaju, subjekt potpuno proizvoljno bira između ponuđenih alternativa, pa razliku između njegovih subjektivnih verovatnoća i relativne frekvencije tačnih odgovora ne možemo pripisati njegovoj nesigurnosti ili samouverenosti. Budući da je on već "priznao" da je njegov izbor slučajan (izabrao je verovatnoću od 0,5) i da ne zna tačan odgovor, razlika je odraz dobre ili loše sreće a ne neobjektivnosti procene subjekta. (Za kockara koji gubi nećemo reći da je nesiguran već da nema sreće.) Otuda, odstupanja od idealne kalibracije zahtevaju obazriviju interpretaciju. Pored toga, treba napomenuti da primena pojmova nesiguran i samouveren, sa već postojećim drugačijim sadržajem u psiholigiji, nosi dopunsku opasnost od neosnovanog uopštavanja dobijenih zaključaka.

2. U poslednje vreme sve su češće sugestije da se procene verovatnoće

budućih događaja posmatraju odvojeno od procena tačnosti iskaza DO-a. Suštinsku razliku između ovih problema čine izvori neizvesnosti koji se nalaze u njihovoj osnovi. U slučaju prognoze događaja postoji spoljašnja neizvesnost, koja je kao komponenta realnog sveta pogodna za introspekciju i modifikaciju. U drugom slučaju, u proceni vlastitog znanja, prisutna je unutrašnja neizvesnost, kada DO verovatnoćom procenjuje adekvatnost svog mentalnog modela. Otuda mišljenje da u rešavanju ove dve vrste problema subjekti koriste različite kognitivne mehanizme, zbog čega ih treba i odvojeno izučavati (Keren, 1991).

Napomenimo da do sada nije utvrđena sistematska razlika u stepenu samouverenosti subjekata u dve grupe testova, kao i da je ovom stavu teško obezbediti empirijsku podršku, jer bi se za pouzdane zaključke morale porediti dve grupe testova približno iste težine, što je u praksi nemoguće obezbediti.

Page 21: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

373

3. U najvećem broju eksperimenata zaključci se baziraju na globalno po-

smatranim rezultatima: odgovori svih ispitanika su grupisani u unapred formirane podgrupe po stepenu uverenja, a zatim je kalibracija određivana na osnovu odgo-vora svih ispitanika po svim pitanjima. Poslednjih godina se sve češće sugeriše analiza svakog ispitanika i svakog pitanja zasebno, budući da agregatni rezultati nisu pouzdana osnova za precizne zaključke.

3.1. Napomenimo da je teško utvrditi kalibriranost svakog pojedinca i obezbediti njihovo međusobno poređenje. Razlozi su brojni. Za preciznu konstrukciju individualne krive kalibracije potreban je upitnik sa veoma velikim brojem pitanja. Eksperiment tako postaje zamoran, pa je ispitanike teško motivisati da koncentrisano popune ceo upitnik (Keren, 1991) Ozbiljniju prepreku predstavlja činjenica da je kalibriranost subjekta delimično određena težinom pitanja, na osnovu čega Lihtenštajn i Fišof (Lihtenštajn i sar., 1982) konstatuju da bi se za svakog pojedinca mogao sastaviti test sa težinom koja bi obezbedila njegovu "idelanu" kalibraciju. Ova činjenica u velikoj meri otežava i poređenje subjekata, jer se isti subjekti na osnovu dva testa različite težine mogu različito rangirati. Pojedinci koje poredimo po sposobnosti kalibracije trebalo bi da raspolažu približno istim nivoom znanja, što nije moguće utvrditi samo na osnovu učešća tačnih odgovora u testu, posebno zbog činjenice da je po pravilu reč o relativno malom broju pitanja. U slučaju da se i ovaj nedostatak otkloni, trebalo bi pronaći razloge koji su uslovili ove individualne razlike.

3.2. Rezultate eksperimenta bi trebalo razvrstati i po pitanjima, čime bi se utvrdilo učešće pitanja različite težine, njihov varijabilitet po težini, kao i prisustvo onih pitanja koja mogu zavarati ispitanike.

Postupak objektivnog utvrđivanja težine pitanja (koji su predložili Lihtenštajn i saradnici), po našem mišljenju, nije sasvim prihvatljiv. Pre svega, učešće tačnih odgovora svih ispitanika po pojedinim pitanjima odražava pre homogenost znanja ispitivane grupe nego težinu pitanja, jer ista pitanja (i test u celini) na različitim grupama ispitanika mogu biti okarakterisana kao laka ili teška. Takođe, težinu pojedinih pitanja nije uvek opravdano odrediti na osnovu količnika između numeričkih vrednosti dva ponuđena odgovora (broja stanovnika, geografske udaljenosti ili vremenskog intervala); npr., pitanje koje se odnosi na dva značajna događaja iz nacionalne istorije, vremenski veoma bliska, biće lakše u odnosu na pitanje koje se odnosi na vremenski udaljene događaje iz evropske istorije.

Mada rezultati eksperimenata ukazuju na visoku korelaciju između težine pitanja i samopouzdanja subjekata i na pojedinačnom nivou, G. Keren dovodi u pitanje psihološki značaj ovog rezultata jer smatra da sam metod merenja kalibracije uslovljava ovakav zaključak. Naime, u slučaju primene metoda 3a subjekt koristi samo verovatnoće od 0,5 do 1; ako je test ekstremno težak, i može se očekivati da DO tačno odgovori samo na polovinu pitanja, budući da mu se izričito zabranjuje upotreba vrednosti manjih od 0,5, on će biti samouveren. S druge strane, ako je test veoma lak i on tačno odgovori na sva pitanja, rezultat može biti ili

Page 22: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

374

idealna kalibracija (ako svim odgovorima pripiše maksimalnu uverenost od 100%) ili nesigurnost.

Posebnu pažnju zaslužuje prisustvo tzv. zbunjujućih pitanja, kod kojih je procenat tačnih odgovora znatno ispod njihove očekivane vrednosti pri potpuno slučajnom izboru. Na primer, u ranije navedenom eksperimantu u kojem su ispi-tanici poredili uzroke smrti po učestalosti, većina je između ubistva i dijabetesa izabrala prvi uzrok, što je netačno. Greška je izazvana činjenicom da su ubistva mnogo češća novinarska tema, pa je tzv. informacioni bijas uticao na formiranje pogrešnih predstava o učestalosti javljanja događaja. (Broj ubistava u SAD je 1979.godine bio dvostruko manji od broja smrtnih slučajeva od dijabetesa. Ipak, Combs i Slovic 1979. (prema Slovic i sar., 1982) su na osnovu analize dva izabrana američka časopisa, sa istočne i zapadne obale, utvrdili da je odnos broja članaka posvećenih ovim događajima bio 528:1). Učešće tačnih odgovora na zbunjujuća pitanja je mnogo manje od 50% (ponekad iznosi svega 10-15%), dok je stepen uverenosti po pravilu visok. Njihovim uključivanjem u anketu stvara se eksperimentalni bijas u prilog zaključka o postojanju samouverenosti; naime, pod pretpostavkom da su subjekti potpuno nesigurni u tačnost odgovora (što ovde nije slučaj) njihov stepen uverenosti ne sme biti manji od 0,50, a to je već dovoljno da se konstatuje samouverenost, jer je učešće tačnih odgovora na ova pitanja veoma malo. Zbog toga, zbunjujuća pitanja treba isključiti iz analize.

4. Zaključke eksperimenata je opravdano uopštavati pod uslovom da važi

proceduralna invarijantnost ili neosetljivost rezultata na primenjenu proceduru; drugim rečima, primena različitih metoda i njihovih varijanti ne bi smela da utiče na dobijene rezultate. Ovaj uslov u praksi nije ispunjen, kako unutar grupe metoda sa diskretnom promenljivom tako i među onima koje se odnose na neprekidnu promenljivu.

4.1. U slučaju diskretne promenljive javlja se veći broj problema: 4.1.1. Sa promenom broja odgovora na pitanje menja se i kriva kalibracije, pri

čemu je teško odrediti njihov najprikladniji broj, ali i same odgovore i njihovu formulaciju. Budući da ih eksperimentator lično bira, on u izvesnoj meri utiče na težinu već formulisanih pitanja.

Ronis i Jejts su 1987. (prema Keren, 1991) izveli eksperiment kojim pokazuju da postoji razlika u rezultatima dobijenim primenom metoda sa jednom alternativom i onih sa više alternativa, kao i da je ova razlika uslovljena izabranom procedurom. U prvom slučaju subjekti samo pripisuju verovatnoću događaju ili iskazu, dok u drugom, odgovor formiraju u dva koraka; prvo biraju jednu od k opcija, a zatim joj pripisuju verovatnoću. Po mišljenju autora, u drugom slučaju sam čin izbora jedne opcije povećava konfirmacioni bijas koji zatim uslovljava porast samouverenosti subjekta u tačnost izabrane opcije. Otuda, autori predviđaju viši nivo uverenosti subjekata u izborima između dve ili više alternativa (koji se i najčešće koristi). Primanu metoda bez alternativa (u kojem subjekt sam formuliše odgovor) smatraju posebno nepovoljnom jer, po njihovom mišljenju, konfirmacioni bijas ovde podstiče visoku samouverenost.

Page 23: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

375

4.1.2. Broj odgovora utiče na izbor probabilističke skale (od 0 do 1 i od 1/k do 1), od kojih svaka rađa specifične probleme.

Ako se opredelimo za skalu od 0 do 1 i k>2 odgovora (kada se svakom odgovoru pripisuje verovatnoća), ispitanici pokazuju tendenciju da precene vero-vatnoće među sobom isključujućih događaja. Oni pojedinim odgovorima pripisuju verovatnoće čiji je zbir veći od 1, pri čemu se sa porastom broja opcija i total proporcionalno povećava.

Primena skale od 1/k do 1 nameće pitanje kako bi se porast broja odgovora na ista pitanja odrazio na numeričku prezentaciju stepena uverenosti subjekata. Ako je k=2 i ispitanik ne zna odgovor već ga potpuno slučajno bira, onda će on, po pretpostavci, "baciti mentalni novčić" i izabranoj alternativi pridružiti verovatnoću 0,50; iz istog razloga, u slučaju izbora između k odgovora, verovatnoća slučajno izabrane opcije biće 1/k. Ako je ideja o "mentalnom novčiću" održiva, bilo bi interesantno utvrditi da li postoji jednoznačna transformacija stepena uverenosti subjekta sa jedne skale na drugu (na primer, sa skale 0,20 - 1, za k=5, na skalu 0,50 - 1, za k=2). Tada se ne bi moglo očekivati preklapanje istih numeričkih vrednosti na dve skale (npr., vrednost 0,80 na dve skale ne bi predstavljala uverenost istog stepena). Ova činjenica se može odraziti na meru kalibracije, budući da se njom stepeni uverenosti porede sa relativnim frekvencijama tačnih odgovora. (Ukupan broj tačnih odgovora se ne bi menjao, a malo je verovatno da bi preraspodela tačnih odgovora po podgrupama pratila promene u stepenima uverenosti.) U drugom slučaju, ako pretpostavimo da subjekt ne menja značcenje određenih numeričkih vrednosti, bilo bi interesantno ispitati koje vrednosti i sa kojim značenjem bi on birao u intervalu 0,20 do 0,50 u slučaju izbora između 5 odgovora. Takođe, ovde je moguća promena učešća lakih i teških pitanja, pa samim tim i zaključaka u vezi sa njima. Do sada, koliko je nama poznato, ovim pitanjima nije bila poklonjena pažnja.

4.1.3. Na rezultate utiče i oblik izražavanja stepena uverenja. Umesto brojem, šanse se mogu prikazati i pomoću odnosa (1:1, 2:1,...,1000:1, itd), pri čemu se od DO-a očekuje da bude indiferentan između ova dva normativno ekvivalentna iskaza. U praksi, međutim, subjekti različito percipiraju verovatnoće iskazane u različitim oblicima; na primer, razlika između stepena uverenosti prikazanih odnosima 20:1 i 50:1, čini se većom od razlike između njima odgovarajućih numeričkih verovatnoća od 0,95 i 0,98. Da bi se u ocenama kalibracije isključio mogući uticaj nesaglasnosti naših intuitivnih sudova sa idealima normativne teorije, često se ispitanicima na uvid pružaju obe liste (verovatnoće u vidu odnosa i u vidu numeričkih vrednosti).

DO može izraziti svoju verovatnoću i opisno (verbalno), i mada je ovaj oblik za većinu subjekata prirodniji i lakši za razumevanje, on se retko koristi. Razlozi su višestruki. Da bi se ocenila kalibracija subjekata neophodno je da se verbalni iskazi transformišu u numeričke vrednosti, što pretpostavlja njihovo konzistentno preslikavanje. Dok je na nivou grupe ovo slaganje umereno, razlike između pojedinaca su značajne. Ne samo da istim verbalnim iskazima različiti subjekti pripisuju veoma različite numeričke vrednosti, već su oni pojedinačno skloni da sa

Page 24: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

376

promenom konteksta istim iskazima pridruže različite brojeve. Pored toga, kod pitanja sa većim brojem odgovora, Brun i Teigen 1988. (prema Keren, 1991) su zaključili da subjekti pojedinim opcijama pridružuju verbalne verovatnoće kojima precenjuju šanse javljanja međusobom isključujućih događaja. Otuda, razumevanje verovatnoće i sposobnost subjekta da s jedne strane precizno razlikuje bliske vrednosti verovatnoće, a sa druge da verbalnim iskazima pripiše uvek iste numeričke vrednosti, mogu značajno uticati na zaključak o njegovoj kalibriranosti.

4.2. Ni u slučajevima određivanja funkcije gustine subjekti nisu zadovoljili uslov proceduralne neosetljivosti.

Rezultati velikog broja eksperimenata (Lihtenštajn i sar., 1982) pokazuju da se kalibracija subjekata menjala u zavisnosti od broja fraktila i redosleda po kojem su oni određivani. Rezultati zasnovani na sedam fraktila bili su bolji od onih u kojima je određivano pet fraktila, ali se u nekim slučajevima primena tri fraktila pokazala boljom u odnosu na pet. Ove razlike (merene interkvartilinim indeksom i indeksom iznenađenja) ipak ne pružaju osnovu za uopštavanja, pa ni za preporuku nekog od korišćenih metoda. Kada je u pitanju redosled utvrđivanja fraktila, bolje rezultate su davali postupci kojima su utvrđivani prvo središnji, a zatim ekstremni fraktili, nego kada su oni određivani po redosledu.

U poređenju sa rezultatima metoda sa diskretnom promenljivom, opšti je zaključak da primenom metoda sa neprekidnom promenljivom subjekti ispoljavaju veću samouverenost; drugim rečima, pri datoj verovatnoći oni pokazuju sklonost ka preteranoj preciznosti. Mogući razlog za to je nepovoljan uticaj tzv. heuristike usidrenje, tj. težnja subjekata da se u ocenjivanju nepoznate vrednosti previše vezuju za unapred datu (ili pretpostavljenu) vrednost. Budući da oni, po pravilu, prvo određuju središnji fraktil, a zatim ekstremne, pod uticajem "usidrenja" njihovo odstupanje od središnjeg fraktila u oba smera je nedovoljno, zbog čega je i formirani interval uzak. Pored toga, mislimo da se u ovim eksperimentima od subjekata očekuje suptilnije razlikovanje verovatnoća. Dok u slučajevima sa diskretnom promenljivom, svi odgovori koje subjekt daje sa uverenošću od 0,9 - 0,99 čine jednu podgrupu, u slučaju neprekidne promenljive od njega se očekuje da za nivoe uverenosti od npr. 0,90, 0,95 i 0,98 on formira intervale različite širine, što je preteran zahtev.

Metodološki problemi koje smo naveli ukazuju na činjenicu da se rezultati

eksperimenata moraju prihvatiti sa velikom rezervom, što ističe složenost problema ali nikako ne umanjuje potrebu i značaj napora da se objektivnost subjekta u proceni vlastitih sudova što preciznije odredi.

Page 25: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

Kalibracija ili sposobnost objektivne ocene vlastitih sudova

377

Reference

Kahneman, D., Slovic, P. i A. Tversky, eds.(1982) : Judgment under uncertainty: Heuristics and biases, Cambridge, Cambridge Un. Press.

Kahneman, D. i A. Tversky (1982): "Variants of uncertainty", u Kahneman et al, eds. (1982), str. 509-520.

Keren, G.: "Calibration and probability judgments (1991): Conceptual and methodological issues", Acta Psychologica, vol. 77, str. 217-273.

Lichtenstein,S., Fischoff, B. i L. Phillips, (1982): "Calibration of probabilities: The state of the art to 1980", u Kahneman et al, eds. (1982), str. 306-334.

Oscamp, S. (1982):"Overconfidence in casestudy judgments", u Kahneman et al, eds. (1982), str. 287-293.

Plous, S. (1993): The Psychology of Judgment and Decision Making, Tample University Press, Philadelphia.

Russo, E. i P. Schoemaker, (1989): Confident Decision Making, Piatkus, London.

Slovic, P., Fischoff, B. i S. Lichteinstein, (1982): " Facts versus fears: Understandung perceived risk", u Kahneman et al, eds. (1982), str. 463-489.

Sniezek, J.A. i T. Buckley, (1993): "Becoming More or Less Uncertain", u knjizi J. N. Castellan, Jr. (ed.): Individual and Group Decision Making, Lawrencw Erlbaum Associates Publishers, Hillsdalle, str. 87-108.

Wright, G. (1984): Behavioral decision making - An introduction, Penguin Books, Harmondsworth.

Calibration or the ability to evaluate own judgements objectively

DUBRAVKA PAVLIČIĆ

In behavioural decision making theory the concept of calibration refers to the various methods and measures used to determine whether the subject is objective, uncertain or self-confident in the evaluation of the validity of his/her knowledge and the soundness of the prognosis made. The paper gives the description of procedures and methods mostly used in the experimental practice. This is followed by the most important experimental results

Page 26: Kalibracija ili sposobnost objektivne ocene vlastitih sudovascindeks-clanci.ceon.rs/data/pdf/0048-5705/1997/0048-57059704353P.pdf · Kalibracija ili sposobnost objektivne ocene vlastitih

D. Pavličić

378

and the conclusions drawn frim them. At the end, the conceptual and methodological limitation of the applied methods and the entire approach to the problem of calibration are discussed. Key words: Behavioural decision making theory, calibration.