Freie Fakten #12

Es ist auffällig: Der Großteil der Experteneinschätzungen ist falsch. Das gilt nicht nur für das Aussterben von Tierarten, die vermeintliche Bevölkerungsexplosion mit mehreren Millionen Hungertoten, das Verschwinden der Niederlande unter dem Meeresspiegel vor dem 21. Jahrhundert oder die Effektivität des Covid-Impfstoffs. 

Woran liegt das? Der US-amerikanische Psychologe Philip E. Tetlock ist dieser Frage nachgegangen. 

Igel und Füchse

Zwischen den Jahren 1984 und 2003 erhob Tetlock systematisch Daten zu Prognosen. Er hatte festgestellt, dass die meisten Experten sehr schlecht prognostizieren – teilweise sogar schlechter als Zufallsschätzungen oder Schätzungen von Laien. Und das, obwohl sich die Experten täglich mehrere Stunden mit ihrem Themenfeld befassen. Es gibt jedoch einige wenige Experten, die sehr gut prognostizieren – Tetlock bezeichnete sie als ‚Superforecasters‘. 

Tetlocks Stichprobe umfasste 284 politische und wirtschaftliche Experten – darunter Politikwissenschaftler, Ökonomen, Geheimdienstanalysten und Journalisten. Die Datenbasis umfasste mehr als 27.000 spezifische Prognosen zu politischen und wirtschaftlichen Entwicklungen weltweit. Die Teilnehmer von Tetlocks Studie mussten präzise, überprüfbare Aussagen machen. Eine Frage war zum Beispiel: „Wird die Sowjetunion innerhalb der nächsten zehn Jahre kollabieren?“ Die Prognosen wurden mit Wahrscheinlichkeiten angegeben – nicht bloß binär mit ‚ja‘ oder ‚nein‘ beantwortet. 

Das Ergebnis: Experten prognostizieren im Durchschnitt nicht besser als eine Zufallsschätzung oder die Annahme, dass ein bestehender Trend fortbestehen wird. Interessant: Experten schnitten laut Tetlock besonders dann schlechter ab, wenn sie sich in ihrer Einschätzung besonders sicher waren. Er stellte fest: Experten mit starker ideologischer Bindung und Zuschreibung (beispielsweise ‚Marktliberale‘ oder ‚Marxisten‘) machten tendenziell schlechtere Prognosen. Ihre Überzeugungen führten anscheinend zu einem Bestätigungsbias und selektiver Wahrnehmung. 

Tetlock griff eine Idee des Philosophen Isaiah Berlin auf: Füchse und Igel. Igel hätten eine große Theorie – man könnte auch sagen: Sie denken monokausal. Füchse würden wiederum viele kleine, teilweise widersprüchliche Indizien zusammentragen. Sie seien pragmatisch, anpassungsfähig und erkenntnistheoretisch bescheiden. Sie dachten vermehrt in Wahrscheinlichkeiten. Man könnte auch sagen: Ein mehrdimensional und multikausal orientierter Denkstil. Sie neigen zu Skepsis gegenüber einfachen Erklärungen und sind gewillt, ihre Annahmen zu revidieren und widersprüchliche Informationen in ihre Prognosen zu integrieren. 

Sogenannte Füchse lagen laut Tetlock signifikant häufiger richtig als Igel. Experten, die ihre Fehler analysierten und systematisch Informationssignale nutzten, verbesserten sich messbar im Verlauf der Studie. Viele Experten änderten trotz größtenteils falscher Prognosen nie ihr Vorgehen.

Interessant ist auch: Tetlock stellte einen inversen (also gegensätzlichen) Zusammenhang zwischen Medienauftritten und der prognostischen Genauigkeit fest. Anscheinend führe die eindimensionale Entschlossenheit, die in ideologisch geprägten Debatten durchsetzungsfähig seien, zu schlechteren Prognosen. 

Seine Befunde stellte er 2005 in seinem in Deutschland kaum noch diskutierten Buch Expert Political Judgment dar. 

Forschung und Praxis 

Die IARPA (Intelligence Advanced Research Projects Activity) veranstaltete in den Jahren 2011 bis 2015 einen Wettbewerb zur Verbesserung von Methoden der Zukunftsprognose. Verschiedene Forscherteams traten gegeneinander an. Eines der teilnehmenden Teams war das Good Judgement Project von Tetlock. Tetlocks Team gewann deutlich. Es wendete die Methoden an, die Tetlock bei den ‚Füchsen‘ identifiziert hatte. 

Die Teilnehmer: Tausende Laien, Akademiker, Analysten und Studenten. Die Aufgabe: Prognosen zu überprüfbaren geopolitischen Fragen. 

Schon im ersten Jahr des Wettbewerbs zeigte sich, dass einige wenige Teilnehmer konstant besser prognostizierten als der Durchschnitt – sogenannte ‚Superforecasters‘. Diese kleine Gruppe blieb über Jahre hinweg überdurchschnittlich genau, auch bei neuen Themen. Sie hatten keine formale Ausbildung im Prognostizieren. Die meisten waren auch keine Experten in den Themen, zu denen sie Prognosen abgaben. Ihr Vorteil lag in ihrer Herangehensweise und ihrer Disziplin, der bewährten Methode zu folgen.  

Die besten Prognostiker lasen breit, diskutierten untereinander, waren revisionsbereit und nicht anmaßend, was die vermeintliche Sicherheit ihrer Aussagen anging. Diese Anpassungsfähigkeit und Offenheit für neue Informationen machte ihre Prognosen so effektiv.  

Tetlocks Team gewichtete die Einschätzungen von Prognostikern mit hoher Erfolgsbilanz höher als die Einschätzungen anderer. Es führte häufig Prognoseupdates durch. Wenn es Prognoseupdates durchführte, waren diese im Durchschnitt weniger gravierend als bei anderen Gruppen. Also: kontinuierlich kleinere Updates und Anpassungen, anstatt wenige größere. 

Die Prognosen des kleinen Anteils an Superforecastern wurden im Laufe der Jahre immer besser und sie behielten ihre höhere Genauigkeit über hunderte von Fragen und verschiedene Themen bei. Andere Prognostiker stagnierten öfter oder machten sogar im Laufe der Zeit schlechtere Prognosen. 

Sogenannte Superforecaster hatten einen überdurchschnittlich hohen, aber größtenteils nicht extrem hohen IQ. Sie waren kognitiv sehr reflektiert, intellektuell aufgeschlossen und hatten Freude am Nachdenken. Zudem wiesen sie ein hohes Durchhaltevermögen und intrinsische Motivation auf. ​

Fazit

Tetlock zeigte mit seiner Arbeit zweierlei: Erstens, Experten machen sehr viele Fehler. Ihre Schätzungen sind nicht wirklich besser als Zufallseinschätzungen oder die Annahme, dass sich Trends fortsetzen. Zweitens, es ist durchaus möglich, akkurate Prognosen aufzustellen, die erheblich genauer sind als Zufallsschätzungen. Dafür ist in den meisten Fällen jedoch ein besonderer Denkstil notwendig: wenig Anmaßung, viel Offenheit für neue Informationen, häufiges Abwägen und Reevaluieren, Denken in Wahrscheinlichkeiten. 

Würden sich Menschen an diese Richtlinien halten, würden die meisten vermutlich bessere Prognosen aufstellen. Und auch die öffentliche Debatte wäre wohl deutlich wissenschaftlicher und erkenntnisreicher.