Philip E. Tetlock: Szakértői politikai előrejelzés. Mennyire helyes? Hogyan mérjük? (2020, Napvilág Kiadó)

Lassan mindennapossá válik a politikai előrejelzések, a szakértői jóslatok sanyarú állapota miatt aggódni. Tetlock könyvében arra a látszólag egyszerű kérdésre keresi a választ, hogyan és milyen mutatók alapján lehetne nyomon követni a szakértői politikai előrejelzéseket helyességét, pontosságát? Hogyan tudjuk beazonosítani a „valódi” szakértőket?

Demény Richárd

A világ nap mint nap meglep minket olyan politikai történésekkel, melyek kimenetelét  tévesen ítélték meg a szakértők. Azzal is gyakran szembesülhetünk, hogy a különböző szakértők ritkán hajlandóak elismerni a tévedésüket. A kötet szerzője, Philip E. Tetlock, a Pennsylvaniai Egyetem pszichológus professzora abból indult ki, hogy a szakértői viták tudományos megközelítésével lehetővé válik az előrejelzések vizsgálata és értékelése, valamint annak megállapítása, hogy tévedések esetén a szakértők milyen módon és mértékben hajlandóak megváltoztatni korábbi véleményüket.

A Szakértői politikai előrejelzés c. kötet elemzi, hogy mitől jó egy döntés a jövőbeli események előrejelzésében, és feltárja, hogy milyen okokra vezethetőek vissza a szakértők tévedései. Tetlock neves szerzőnek számít, több mint 200 cikket publikált különböző tudományos folyóiratokban, tíz könyv szerkesztésében és írásában vett részt, és nevéhez kötődik három, a szakértői értékelések területét érintő mű. Az első ilyen könyv az Aaron Belkinnel írt 1996-os Counterfactual Thought Experiments in World Politics (Kontrafaktuális gondolatkíséretek a világpolitikában) volt, ezt követte a 2005-ben kiadott nagy tudományos és média figyelmet kiváltó Expert Political Judgement: How Good Is it? How Can We Know (Szakértői politikai előrejelzés: Mennyire helyes? Hogyan mérhetjük?), majd végül a gyakorlatilag e könyv folytatásaként Dan Gardnerrel írt Superforcasting: The Art and Science of Prediction (Szuperbecslés: Az előrejelzés művészete és tudománya) jelent meg.

A megjelenését követően a Szakértői politikai előrejelzés több díjat (Woodrow Wilson-díj, Robert E. Lane-díj) is elnyert, ugyanakkor számtalan kritika is érte, elsősorban azért, mert a szerző provokatív mérceként a dartsot dobáló csimpánzok teljesítményét állította az elemzőkkel szembe: ez az, aminél illene jobb eredményt nyújtani a szakértőknek, és sokaknak mégsem sikerül. A kialakult szakmai konfliktus nemcsak a média figyelmét irányította a könyvre, hanem az amerikai hírszerzését is. Így vált lehetővé, hogy a 2005-ös alapkutatási eredmények mellett a 2017-ben (magyarul pedig 2020-ban) megjelent második kiadásban a 2011-15 között az Intelligence Advenced Research Projects Activity (IARPA) által támogatott versenyek nyújtotta legújabb kutatási eredmények is ismertetésre kerüljenek.

Vizsgálni a vizsgálhatatlant

Kutatásai során Tetlock nem kevesebbre vállalkozott, minthogy objektív alapokra helyezi a politikai előrejelzéseket azzal, hogy meghatározza az „ítélet megítélés” („judging judgement”) sztenderdjeit. A szkeptikusok eleve lehetetlen küldetésnek tartották értelmes valószínűségeket rendelni soha meg nem ismétlődő politikai eseményekhez. A cél elérésének érdekében pszichológiai módszereket alkalmazott, melyet kiegészített megfelelési mutatókkal. Annak érdekében, hogy megállapíthatóvá váljon, a politikai szakértők mennyire kerültek közel a pontos előrejelzéshez, Tetlock beillesztett a logikai folyamatot vizsgáló mutatókat is. Ezáltal vált vizsgálhatóvá, hogy a szakértők hogyan bánnak a tapasztalati tényekkel és reagálnak a nyilvánosságbeli fogadtatásra. 

A Szakértői politikai előrejelzés egy olyan két évtizedes kutatásról számol be, melynek alapját azok az előrejelzés-készítő versenyek eredményei biztosították, amelyeken 284 szakértő összesen több mint 82 ezer prognózist készített. A versenyek résztvevőinek nem csak a különböző globális események bekövetkezésének valószínűségét kellett meghatározniuk, hanem azt is be kellett mutatniuk, hogyan alakították ki előrejelzéseiket. A vizsgálat kiterjedt arra is, hogy a szakértők miként reagáltak az ellentétes információkra, frissítik-e a véleményüket az új információk birtokában, és hogyan fogadják, ha állításaik nem következnek be.

Létezik olyan, hogy jó döntés?

Ennek a kérdésnek a tisztázása érdekében a szerző vizsgálódás tárgyává teszi azt, hogy lehetséges-e a számonkérésnek olyan empirikus és logikai sztenderdjeit kidolgozni, amelyek meghaladják a pártos versenyt, és lehetővé teszik számunkra, hogy különböző szemszögből, de közös mutatók alapján vizsgáljuk a szakértők teljesítményét az előrejelzések terén. Tetlock egyértelművé teszi, nincsenek könnyű megoldások, amelyek megoldják a vitát az emberi döntések szubjektivista és objektivista megközelítése között. Így a könyv jelentősége nem abban van, hogy sikerült pontos egyensúlyt teremteni a jó döntésre vonatkozó, egymásra versengő nézetek között. Inkább abban, hogy objektivista módszerekkel igyekezett nehezen számszerűsíthető, szubjektivista ellenvetéseket beépíteni a mérési folyamatba. Fontos eredmény, hogy Tetlock cáfolja azon téziseket, melyek szerint a jó döntés értékrendek függvénye lenne. Az előrejelzések pontosságát nem befolyásolta a szakértő szakmai háttere, ahogy az sem számított, hogy liberális vagy konzervatív, realista vagy institucionalista,  optimista avagy pesszimista a szakértő. Amiben azonban jelentős különbség igazolódott az az, hogy miként gondolkodnak.

Rókák és sündisznók

A Szakértői politikai előrejelzés központi megállapítása szerint a szakértő „gondolkodási stílusa” az, ami ténylegesen befolyásolja a jó döntést és a szakértői előrejelzés eredményességét.

Tetlock egy Isaiah Berlintől származó metaforát használ a gondolkodási stílusok osztályozására. Ebben a szakértőket egy „kognitívstílus-kontinuum mentén” helyezi el, amelynek az egyik végén a „sündisznók”, a másik végén pedig Berlin által „rókaként” jellemzett típus képviselői foglalnak helyet. Azok a gondolkodók, akik a rókákra hasonlítanak, sok apró dolgot tudnak és ismernek a szakmájukról, melyeket különböző eklektikus gondolati hagyományokra támaszkodva szereznek meg. Szkeptikusak a nagyszabású forgatókönyvekkel szemben, számukra az előrejelzés nem egy deduktív tevékenység, hanem egy olyan rugalmas próbálkozás, ahol a különböző források egymással összefüggő információinak összefésülésére van szükség. Ezzel szemben a sündisznó típusú gondolkodók, „egy nagy dolgot tudnak”, melynek magyarázó erejét újabb területekre terjesztik ki.  Jellemzően egy irányzaton belül maradva dolgoznak ki képletszerű megoldásokat, amelyek tanulságait aztán általánosítják más területekre is. Deduktív megközelítéseik határozottak, készek felelősséget vállalni ellentmondásos döntéseikért, nem szégyellik elismerni, hogy ők a történelmet felülről-lefelé irányban közelítik meg.

A könyv részletesen bemutatja, hogy mind a kvantitatív, mind a kvalitatív módszerek szerint a rókák jobb előrejelző szakemberek, mint a sündisznók a hosszú távú előrejelzések terén. 

Ugyanakkor még a „sikeresebbnek” ítélt rókák sem tudták felvenni a versenyt a matematikai-statisztikai modellekkel.

Tetlock górcső alá veszi a legjellemzőbb szakértői döntési hibák (ilyenek többek között a túlzott magabiztosság, a visszatekintő torzítás, a nem megfelelő véleménykorrekció, a kettős mérce alkalmazása, a disszonáns forgatókönyvek elutasítása, a korrekcióra való képtelenség) gondolkodási stílusból fakadó különbségeit is. A sündisznók magabiztosan állítják, hogy a hosszú távú előrejelzések területén hatékonyak. Ez a meggyőződés az, ami elsősorban a felkészült sündisznókat azzal a veszéllyel fenyegeti, hogy saját prekoncepciók túszaivá váljanak, és intellektuális zsákutcába tereljék saját magukat. A rókák önkritikus, pont-ellenpont típusú gondolkodása jelentősen csökkenti annak lehetőségét, hogy túlbecsüljék saját elképzeléseiket. 

Mivel a rókák többsége figyelembe veszi azokat az egyensúlyi állapotokat, melyeket egymás ellen ható erők hoznak létre, kevésbé hajlamosak a „túlbecsülésre” a status quo-tól jó vagy rossz irányba történő elmozdulásokra vonatkozólag is. Ezzel szemben a sündisznók zártabb gondolkodása hajlamosítja őket arra, hogy meglévő megoldásokat kínáljanak pontatlanul meghatározott kérdésekre. A visszatekintő torzításra is inkább a sündisznók hajlamosabbak.  Az esemény bekövetkezését követően jellemzően bizton állítják, hogy ők „mindig is tudták” mi van készülőben, ”mindig is látták”, hogyan fog az esemény bekövetkezni.

A szerző úgy véli, hogy bár a kettős mérce mindkét gondolkodási stílus képviselőjénél jelen van, ugyanakkor jelentős különbség van annak kezelésében. A sündisznók inkább vélték úgy, hogy a „majdnem talált” állításaik is végső soron rendben voltak, mint ahogy az is, hogy enyhébb mércéket alkalmaztak a koncepciójukba illeszkedő, szigorúbbakat pedig a disszonáns bizonyítékok kapcsán. Ezzel szemben a rókák jobban zavarba jöttek, amikor szembesültek kettős mércéjük alkalmazásával. Igazolódott az is, hogy a sündisznók a rókáknál sokkal kevésbé hajlandóak belátni a tévedéseiket. Inkább kitértek azzal, hogy „ha a bizonyítékok engem igazolnak, nyertem, ha nem, akkor a módszertannal lehet valami baj.”

Összességében igaz, hogy a sündisznók zártabb gondolkodása, túlzott magabiztossága és a disszonáns lehetőségek elutasítására való hajlandósága jelentősen rontja az ehhez a csoporthoz tartozó gondolkodók előrejelzéseinek pontosságát, ugyanakkor a rókák teljesítményét negatívan befolyásolhatja a túlzottan nyitott gondolkodásból fakadó kognitív káosz kialakulása. A rókák nyitottabb megközelítése azzal a hátránnyal járhat, hogy a túl nagy valószínűséget rendelnek túl sok szcenárióhoz. Így azok a rókák, akik túl sok lehetséges forgatókönyvet vesznek figyelembe, épp annyira hajlamosak rosszul dönteni, mint azok a sünök, akik túlságosan magabiztosak, és nem nyitottak arra sem, hogy tévedéseiket felülbírálják.

Szakértők és a média

Tetlock a Szakértői politikai előrejelzés mögött meghúzódó kutatás egyik legnyugtalanítóbb eredményének azt tartja, hogy perverz módon fordított irányú kapcsolat áll a fentebb bemutatott és tudományos mutatók alapján igazolható jó szakértői teljesítmény, illetve a média által vonzónak tartott szakértői tulajdonságok között.

A média érdeklődésére sokkal jobban számíthatnak a magabiztos, céltudatos sündisznó típusú szakértők, mivel az egyszerű és határozott nyilatkozataikat könnyebb idézni. Az általuk generált médiafigyelem felerősíti azt a tendenciát, hogy a szakértők figyelemfelkeltésre alkalmas, merész előrejelzéseket adjanak, amelyeknek pontosságát csak esetenként ellenőrzik, és amelyeket, ha esetleg kiderülne a tévedés, gyakran azzal védelmeznek, hogy „hamarosan megtörténik”, „majdnem megtörtént”, vagy, hogy a rendelkezésre álló lehetőségek mellett ennyi hiba elfogadható. Így arra következtethetünk, hogy a média nem az alapján karolja fel a szakértőket, hogy mennyire jól becsülik meg az előrejelzések pontosságát, hanem mennyire vonzóak a várható visszhang (és tehetjük hozzá, a politikai hovatartozás) alapján.

Tetlock könyvében következetesen kitart azon álláspontja mellett, hogy társadalomként jobb helyzetben lennénk, ha a szakértőinket – legyenek azok megmondó emberek a közösségi térben vagy titkosszolgálati elemzők a színfalak mögött – szisztematikusan számon lehetne kérni olyan sztenderdek segítségével, amelyek széles körű elfogadottságot élveznek az ésszerű vélemények teljes spektrumában. Ehhez az is szükséges lenne persze, hogy a szakértők a ködös előrejelzések helyett tesztelhető predikciókat adjanak, amelyeket aztán osztályozni lehetne az empirikus pontosság és a logikai védhetőség alapján. Ezzel együtt Tetlock meglepően pozitív jövőképpel zárja a könyvet, abban bízva, hogy kidolgozott módszertana jelentős segítséget nyújthat a különböző területeken dolgozó szakembereknek abban, hogy önmagukat kiigazító tudásközösségeket hozzanak létre, illetve keretek között tarthassák a torzításokat. A haladás egy kevésbé szubjektív világban talán nem annyira reménytelen, mint amilyen kitartóan a társadalomtudományok ellenfelei állítják. 

Címfotó: Pikrepo

Jó cikk volt? Azt gondolod, hogy több ilyenre lenne szükség? Küldj nekünk pénzt, akár 1000 forintot is, hogy működhessünk és írhassunk még ilyeneket! Itt teheted meg. Köszönjük!
TÁMOGATOM

Kapcsolódó írások


Ehhez a cikkhez az Új Egyenlőség Facebook oldalán fűzhet véleményt.