Laut einer Studie

Ende März 2015 verschickte ein „Institute of Diet and Health“ eine Pressemitteilung. Wer bei einer kohlenhydratarmen Diät jeden Tag eine Tafel dunkle Schokolade esse, nehme schneller ab. Erschienen war die Studie in den International Archives of Medicine, Hauptautor ein Dr. Johannes Bohannon. Wenige Tage später stand sie auf der Titelseite von Bild, dann im Daily Star, in der Times of India, bei Cosmopolitan und der Huffington Post.

Das Institut gab es nicht. Johannes Bohannon heißt John, ist Wissenschaftsjournalist und hatte die Studie mit den Filmemachern Peter Onneken und Diana Löbl gebaut, für die Dokumentation „Schlank durch Schokolade“, die im Juni 2015 auf arte und im ZDF lief. Der Versuch selbst war echt, und das ist der unangenehme Teil. Sechzehn Menschen machten mit, einer sprang ab. Gemessen wurden achtzehn Werte, von Gewicht über Cholesterin bis Schlafqualität. Die Zeitschrift nahm das Manuskript für rund 600 Euro. Das Rezept hat Bohannon hinterher selbst aufgeschrieben: Wer an so wenigen Menschen so viele Dinge misst, hat eine Chance von etwa 60 Prozent, dass irgendetwas rein zufällig „signifikant“ wird.

Gefälscht wurde keine einzige Zahl. Es brauchte eine winzige Studie, eine lange Liste von Messwerten, eine Pressemitteilung mit Aufhänger und Redaktionen, die die naheliegenden Fragen nicht stellten. Der Fall ist ein Extrem, als Falle gebaut. Jedes Teil des Mechanismus ist alltäglich.

Welche Behandlung hilft, welche Ernährung schadet, welche Politik wirkt: Fast alles, was wir entscheiden, hängt an Forschung, die wir nicht selbst gemacht haben und nicht selbst prüfen können. Bei uns kommt die Schlagzeile an. Dieses Stück handelt von zwei Männern, die Werkzeuge gebaut haben, um hinter sie zu sehen, dem Psychologen und Statistiker Jacob Cohen und dem Astronomen Carl Sagan. Am Rand lesen die beiden mit, wie Gutachter ein Manuskript. Was dort steht, ist unsere Zuspitzung ihrer Gedanken, nie ein Zitat.

Der stumme Alarm

Kurz nach dem Zweiten Weltkrieg, so erzählte Cohen später, wollte ein Mitdoktorand zeigen, was man mit kleinen Stichproben alles anfangen kann. Er nahm „nur 20 Fälle pro Gruppe“, fand nichts Signifikantes und erklärte einen wichtigen Zweig der psychoanalytischen Theorie für widerlegt. Gerechnet hatte er richtig. Bewiesen hatte er, dass seine Studie zu klein war.

Erst Jahre später stellte Cohen die Frage, die niemand gestellt hatte: Wenn der Effekt echt ist, wie wahrscheinlich findet ihn diese Studie? Diese Wahrscheinlichkeit heißt Teststärke, englisch power. Mit 20 pro Gruppe und einem mittelgroßen Effekt lag sie bei 33 Prozent. Selbst mit 30 pro Gruppe wären es 47 Prozent gewesen, „ungefähr ein Münzwurf“. Das Experiment hätte den Effekt sehr wahrscheinlich übersehen, auch wenn es ihn gab. Als Widerlegung war es wertlos.

Dann prüfte Cohen, ob das ein Einzelfall war. Er nahm sich den Jahrgang 1960 des Journal of Abnormal and Social Psychology vor, 70 Artikel mit den nötigen Tests, und fragte für jeden: Wenn die Effekte existieren, wie gut konnte diese Studie sie sehen? Bei kleinen Effekten lag die Chance im Schnitt bei 18 Prozent. Bei mittleren bei 48. Erst bei großen erreichte sie 83.

Stellen Sie sich einen Rauchmelder vor, der erst anschlägt, wenn die Vorhänge brennen. Bleibt er still, während sich Rauch im Zimmer ausbreitet, schließen Sie nicht, die Luft sei sauber. Sie prüfen den Melder. Bei Studien ziehen wir diesen Schluss ständig: „kein signifikanter Effekt“ wird gelesen als „kein Effekt“.

Probieren Sie es aus. In der folgenden Grafik wirkt die Behandlung in jeder einzelnen von hundert Studien. Sie entscheiden nur, wie viele Menschen jede Studie bekommt.

Achten Sie jetzt auf die zweite Zahl rechts. Bei kleinen Studien kommen nur die glücklichen Ausreißer nach oben über die Linie. Wer nur die signifikanten Ergebnisse liest, liest aufgeblähte Effekte, und zwar systematisch. Merken Sie sich das für die Machtpose.

Hat jemand zugehört? 24 Jahre später wiederholten Peter Sedlmeier und Gerd Gigerenzer Cohens Durchsicht. Die mittlere Teststärke für einen mittleren Effekt war gesunken, von 0,46 auf 0,37. Zwei von 64 Experimenten erwähnten sie überhaupt. 2013 bezifferte eine Gruppe um Katherine Button die mittlere Teststärke in der Neurowissenschaft auf 21 Prozent, über 730 Studien hinweg.

Wie groß ist groß

Damals wie heute schauen die meisten auf eine einzige Zahl: Liegt p unter 0,05? Dann heißt das Ergebnis „signifikant“. Das Wort klingt nach „bedeutend“. Gemeint ist viel weniger: Daten, die so überraschend sind, wären unwahrscheinlich, wenn es gar keinen Unterschied gäbe. Wie groß der Unterschied ist, sagt es nicht.

Nehmen Sie eine erfundene Schlaf-App, getestet an 100 000 Menschen. Bei so vielen lässt sich zweifelsfrei zeigen, dass sie den Schlaf verlängert, um anderthalb Minuten pro Nacht. Echt, signifikant und vermutlich weder Ihr Geld noch Ihre Daten wert. Umgekehrt kann eine kleine Vorstudie, in der eine Maßnahme den Schlaf um eine halbe Stunde verlängert, die Schwelle verfehlen, weil zu wenige mitgemacht haben. Vielversprechend und unbewiesen zugleich.

Cohen nannte die Größe eines Unterschieds Effektstärke. Für zwei Gruppen schlug er das Maß vor, das heute seinen Namen trägt: Cohens d, die Differenz in Standardabweichungen. Um 0,2 nannte er klein, um 0,5 mittel, um 0,8 groß. Die Etiketten eroberten Psychologie, Pädagogik und Medizin. Cohen selbst traute ihnen weniger als die meisten, die ihn zitieren. Solche Grenzen festzulegen, schrieb er, sei „ein Vorgehen voller Gefahren“; wer sein Fach kenne, solle selbst urteilen.

Er hatte recht. Eine Behandlung, die von hundert Schwerkranken zehn mehr überleben lässt, kann auf einer standardisierten Skala als „klein“ gelten. Ein winziger Vorteil, der sich über zehn Jahre aufsummiert, kann enorm viel bedeuten, ein großer, der nach drei Wochen verpufft, kaum etwas. Das sind keine statistischen Fragen mehr. Es sind Fragen danach, was uns etwas wert ist.

Für Leser heißt das: die Zahl in die Welt zurückübersetzen. Wie viele Minuten, Kilo, Euro, Symptome, Leben? Fiel ein Risiko von 40 auf 20 Prozent oder von zwei auf einen in 10 000? Gemeldet wird beides als „halbiert“. Seit 2012 nehmen die Statistiker der „Unstatistik des Monats“, heute Thomas Bauer, Gerd Gigerenzer, Walter Krämer und Katharina Schüller, jeden Monat eine solche Zahl auseinander. Der Nachschub reißt nicht ab.

Achtzehn Lose

Cohens Mittel gegen schwache Studien war einfach: vorher festlegen, wonach man sucht. Die Teststärke hängt an vier Größen: dem Effekt, der Zahl der Beobachtungen, der Schwelle für einen Fehlalarm und der gewünschten Trefferchance. Stehen drei fest, ergibt sich die vierte. Wer weiß, welcher Effekt praktisch zählt, kann ausrechnen, wie viele Menschen er braucht, bevor er den ersten anwirbt. Für einen mittleren Effekt und 80 Prozent Trefferchance sind das 64 pro Gruppe. Für einen kleinen fast 400.

Das Gegenteil hat inzwischen einen Namen: p-Hacking. Erst messen, dann schauen, was sich findet. Betrug braucht es dafür nicht. Viele Dinge messen und über das berichten, was klappt. Nach jeder zehnten Versuchsperson in die Daten schauen und aufhören, sobald es gut aussieht. Die Ausreißer einmal drinlassen, beim nächsten Mal streichen.

So hat die Schokoladenstudie funktioniert. Ob Schokolade beim Abnehmen hilft, hätte sie nie zeigen können. Sie musste nur genug Lose kaufen: Unter 18 Messwerten fiel sehr wahrscheinlich etwas zufällig unter 0,05. Die nächste Grafik, der einzige papierweiße Bruch auf dieser Seite, setzt Sie in Bohannons Labor.

Wie weit das geht, führten Joseph Simmons, Leif Nelson und Uri Simonsohn 2011 vor. Sie spielten 20 Studierenden entweder ein Instrumentalstück vor oder „When I'm Sixty-Four“ von den Beatles. Danach war die Beatles-Gruppe fast anderthalb Jahre jünger, gemessen am Geburtsdatum, bei p = 0,040. Das Ergebnis ist unmöglich, genau darum ging es. Dahin kamen sie, indem sie das Alter der Väter herausrechneten, andere Messungen verschwiegen und etwa alle zehn Teilnehmenden in die Daten schauten. Jeder dieser Schritte ist in der Forschung Routine. In ihrer Simulation trieben vier solcher Spielräume zusammen die Quote falscher Treffer auf 61 Prozent.

Stille Post

So viel zu den Forschenden. Zwischen einer Studie und Ihrem Frühstückstisch liegen mindestens zwei weitere Stationen: die Pressestelle und die Redaktion. 2014 verfolgte eine Gruppe um Petroc Sumner, wo sich die Übertreibung einschleicht. Sie verglich 462 Pressemitteilungen britischer Universitäten mit den Studien dahinter und mit den 668 Nachrichten, die daraus wurden.

Die Journalisten sind nur zum Teil entlastet. 40 Prozent der Mitteilungen gaben weitergehende Ratschläge als die Studie. Ein Drittel machte aus einem Zusammenhang eine Ursache. Mehr als ein Drittel übertrug Befunde an Tieren oder Zellen auf Menschen. Was die Mitteilung aufblähte, blähte meist auch die Nachricht auf. Stand der unzulässige Sprung zum Menschen schon in der Mitteilung, machten ihn 86 Prozent der Artikel mit. Stand er dort nicht, 10 Prozent.

Der Stachel steckt in einem Detail. Übertriebene Mitteilungen wurden nicht nennenswert häufiger aufgegriffen als vorsichtige. Der Hype brachte keine zusätzliche Berichterstattung, nur weniger Wahrheit. Im Feed gelten andere Regeln: Eine Auswertung von elf Jahren Twitter ergab 2018, dass Falschmeldungen mit 70 Prozent höherer Wahrscheinlichkeit weiterverbreitet wurden als wahre.

Aufgehört hat es nicht. Im vergangenen Jahr meldete eine Studie in Nature Medicine so viel Mikroplastik in menschlichen Gehirnen, dass Schlagzeilen von einem Löffel voll sprachen. Im Dezember 2025 hielt das Bundesinstitut für Risikobewertung dagegen: Die Mengen seien „unplausibel hoch“, Verunreinigungen nicht ausgeschlossen, und nichts in der Studie zeige einen ursächlichen Zusammenhang mit Demenz. Dann tauchten doppelte Abbildungen in der Arbeit auf. Im Mai war es ein Arbeitspapier aus Cincinnati, das Smartphones die Schuld an sinkenden Geburtenraten gab. Die Unstatistik wies nach, dass der Zusammenhang nur für Teenager galt. Bei Frauen über 25, von denen rund 80 Prozent der Kinder kommen, gab es keinen.

Zwei Minuten, 77 Millionen Aufrufe

Die erfolgreichste Geschichte des Genres beginnt 2010 mit 42 Menschen. Dana Carney, Amy Cuddy und Andy Yap ließen sie zwei Minuten lang breitbeinig stehen, die Hände in den Hüften, in einer „Machtpose“, oder zusammengesunken sitzen. Danach, so die Studie, war bei den Posierenden das Testosteron gestiegen, das Stresshormon Cortisol gesunken, und sie wetteten eher.

Cuddys TED-Vortrag darüber von 2012 hat auf ted.com mehr als 77 Millionen Aufrufe. Die Pose schaffte es in Bewerbungsratgeber, Führungsseminare und Umkleidekabinen.

2015 wiederholte eine Gruppe um Eva Ranehill den Versuch mit 200 Menschen. Keine Wirkung auf die Hormone, keine auf das Verhalten. Nur das Gefühl von Macht stieg leicht. Ein Jahr später tat Carney, die Erstautorin, etwas in der Psychologie Seltenes und schrieb es auf: „Ich glaube nicht, dass ‚Power Pose‘-Effekte real sind.“ Die Stichprobe sei winzig gewesen, die Auswertung flexibel. Cuddy hält am Effekt auf das Gefühl fest, darüber lässt sich ernsthaft streiten. Über die Hormone gibt es kaum noch etwas zu streiten.

Erinnern Sie sich an die zweite Zahl im Rauchmelder? Eine Studie mit 42 Menschen, die einen Effekt findet, findet fast zwangsläufig einen zu großen. Dafür braucht es kein Fehlverhalten, nur Arithmetik.

Noch einmal, bitte

Wie verbreitet das ist, wollte die Open Science Collaboration messen. 270 Forschende wiederholten 100 Studien aus drei führenden Psychologie-Zeitschriften des Jahrgangs 2008, so originalgetreu wie möglich und meist mit mehr Menschen. 97 Prozent der Originale hatten signifikante Ergebnisse gemeldet. Bei den Wiederholungen waren es 36 Prozent. Der mittlere Effekt schrumpfte auf die Hälfte.

Das heißt nicht, dass 64 Prozent der Psychologie falsch wären. Die Autoren warnen selbst, dass kein einzelnes Kriterium entscheidet, ob ein Befund gehalten hat, und dass sich Original und Wiederholung in vielem unterscheiden können. Das Muster ist trotzdem kaum zu übersehen: Vieles, was sicher aussah, wackelt, sobald jemand mit mehr Menschen nachprüft.

Ein Teil der Erklärung ist das, was nie gedruckt wird. Annie Franco, Neil Malhotra und Gabor Simonovits verfolgten 221 sozialwissenschaftliche Studien, deren Anlage vorab bekannt war. Studien mit klaren Ergebnissen wurden mit 40 Prozentpunkten höherer Wahrscheinlichkeit veröffentlicht und mit 60 Punkten höherer überhaupt aufgeschrieben. Die meisten Nullbefunde blieben in der Schublade. Was wir lesen, ist eine Best-of-Auswahl. 2005 gab der Statistiker John Ioannidis dem Problem einen absichtlich provokanten Titel: „Warum die meisten veröffentlichten Forschungsergebnisse falsch sind“. Das ist ein Rechenmodell, keine Messung, aber seine Zutaten sind genau diese: kleine Studien, kleine Effekte, viel Spielraum.

Darunter liegt eine dunklere Schicht. Brian Wansink, einst Star der Ernährungsforschung an der Cornell University, prahlte 2016 in einem Blogeintrag mit einer Doktorandin, die „nie Nein sagte“ und aus einem gescheiterten Datensatz mehrere Artikel presste. Andere Forschende begannen, seine Arbeiten genau zu lesen. Laut der Datenbank von Retraction Watch sind inzwischen 17 seiner Arbeiten zurückgezogen (Stand Oktober 2026); im September 2018 kündigte er seinen Rücktritt an. 2025 entzog Harvard der Verhaltensforscherin Francesca Gino die Professur auf Lebenszeit, nachdem der Blog Data Colada Auffälligkeiten in Daten ihrer Studien aufgezeigt hatte. Sie bestreitet Fehlverhalten und klagt gegen die Universität. Und Paper Mills fertigen inzwischen Fachartikel auf Bestellung. Allein der Verlag Hindawi zog 2023 mehr als 8 000 davon zurück. Eine Auswertung in PNAS schätzt, dass sich ihre Zahl alle anderthalb Jahre verdoppelt. Die wissenschaftliche Literatur insgesamt verdoppelt sich alle 15 Jahre.

Fairerweise: Die Psychologie hat aus ihrer Krise mehr gemacht als die meisten Fächer. Viele Studien werden heute vorab registriert, mit festgelegter Hypothese, Stichprobengröße und Auswertung. Manche Zeitschriften nehmen Arbeiten an, bevor die Ergebnisse da sind, und drucken sie, egal wie sie ausgehen. Wiederholungen zählen wieder als Leistung. Data Colada, Retraction Watch und die Unstatistik sind auch Wissenschaft. Das System korrigiert sich. Es ist nur langsamer als die Schlagzeile.

Der Drache in der Garage

1995 veröffentlichte Carl Sagan eines seiner letzten Bücher, „The Demon-Haunted World: Science as a Candle in the Dark“. Er starb im Dezember 1996. Auf Deutsch erschien es 1997 bei Droemer Knaur als „Der Drache in meiner Garage oder die Kunst der Wissenschaft, Unsinn zu entlarven“, benannt nach der bekanntesten Episode des Buchs.

Jemand erzählt Ihnen, in seiner Garage wohne ein Feuer speiender Drache. Sie wollen ihn sehen. Er ist unsichtbar. Sie streuen Mehl, um seine Spuren aufzufangen. Er schwebt. Sie messen die Hitze seines Atems. Das Feuer ist kalt. Auf jeden Test folgt eine Ausrede. Sagans Frage: Was unterscheidet einen Drachen, der sich jeder Prüfung entzieht, von gar keinem Drachen? Eine Behauptung, die sich nicht prüfen lässt, ist nichts wert, so ernst sie auch vorgetragen wird.

Der Kern des Buchs ist ein Kapitel über die „feine Kunst, Unsinn zu entdecken“, ein Werkzeugset, das Wissenschaftler täglich benutzen. Unabhängige Bestätigung suchen. Kundige aus verschiedenen Lagern streiten lassen. Autorität nicht für Beweis halten. Mehrere Erklärungen durchspielen und sich nicht in die eigene verlieben. Messen, wo man messen kann. Jedes Glied einer Argumentkette prüfen. Die einfachere Erklärung vorziehen. Und fragen, ob sich die Behauptung überhaupt widerlegen ließe.

Dann folgt eine Liste typischer Denkfehler, und Teile davon lesen sich, als hätte Sagan Cohens Arbeiten neben sich liegen gehabt. Die „Statistik kleiner Zahlen“. Die Beobachtungsauswahl, bei der man die Treffer zählt und die Fehlschläge vergisst. Die Verwechslung von Zusammenhang und Ursache. Unterdrückte Belege und Halbwahrheiten. Und der berühmte Satz, den Sagan nicht erfunden, aber berühmt gemacht hat: Außergewöhnliche Behauptungen erfordern außergewöhnliche Belege. Laplace hatte den Gedanken schon Anfang des 19. Jahrhunderts, der Soziologe Marcello Truzzi kurz vor Sagan.

Was es kostet, auf diese Werkzeuge zu verzichten, zeigt ein Artikel von 1998. Im Lancet brachte Andrew Wakefield die Masern-Mumps-Röteln-Impfung mit Autismus in Verbindung, gestützt auf zwölf Kinder. Zwölf Kinder, keine Kontrollgruppe, eine außergewöhnliche Behauptung. Der Lancet zog den Artikel 2010 vollständig zurück; im selben Jahr verlor Wakefield seine Zulassung als Arzt. 2019 fand eine dänische Studie mit 657 461 Kindern keinen Zusammenhang. Die Angst hat den Artikel überlebt.

Sagan fürchtete um mehr als einzelne Studien. In einer viel zitierten Passage beschreibt er ein Amerika, dessen Industrie abgewandert ist, in dem gewaltige technische Macht bei sehr wenigen liegt und die Öffentlichkeit nicht mehr selbst beurteilen kann, was man ihr erzählt: ein Land, das nicht mehr unterscheiden kann zwischen dem, was sich gut anfühlt, und dem, was wahr ist. Die Passage ging 2017 viral. Geschrieben hat er sie mehr als zwanzig Jahre vorher.

Sagan verlangt nicht, allem zu misstrauen. Zynismus ist so bequem wie Leichtgläubigkeit; beide ersparen das Denken. Wissenschaft ist für ihn eine Gewohnheit, die zwei Dinge zugleich aushält: Offenheit für neue Ideen und gnadenlose Prüfung jeder einzelnen. Er nannte sie eine Kerze im Dunkeln. Sie macht nicht alles hell. Sie leuchtet den nächsten Schritt aus.

Sechs Fragen

1994, vier Jahre vor seinem Tod, veröffentlichte Jacob Cohen einen Aufsatz mit absichtlich absurdem Titel: „The earth is round (p < .05)“. Sein Ziel war ein Ritual. p ausrechnen, mit 0,05 vergleichen; darunter ist der Effekt echt, darüber gibt es nichts. Zwei fast gleiche Studien mit p = 0,049 und p = 0,051 landen auf verschiedenen Seiten, obwohl ihre Belege so gut wie identisch sind. Ein p-Wert ist nicht die Wahrscheinlichkeit, dass eine Hypothese stimmt. Er ist ein Werkzeug, und Cohen wollte, dass man auch die anderen benutzt: Effektstärken, Konfidenzintervalle, Wiederholungen, Urteilskraft.

Aus Cohens Fragen und Sagans Werkzeugen wird ein Prüfbogen für jede „Laut einer Studie“-Meldung. Statistik-Software braucht es dafür nicht. Es braucht die Bereitschaft, die Antwort hinzunehmen, wenn sie Ihnen nicht gefällt.

Eine Studie, die bei einer Frage durchfällt, ist nicht automatisch wertlos. Kleine Vorstudien sind nützlich, solange man sie als das liest, was sie sind: ein Fingerzeig, wo man genauer hinsehen sollte. Der Schaden beginnt, wenn aus dem Fingerzeig irgendwo zwischen Labor, Pressestelle und Feed eine Gewissheit wird.

Cohen hat keine neue Tatsache über die Welt entdeckt. Er hat verändert, wie ganze Fächer entscheiden, ob sie überhaupt etwas entdeckt haben. Sagan hat dieselben Regeln für alle anderen aufgeschrieben. Die nächste Meldung, die mit „Laut einer Studie“ beginnt, ist schon unterwegs. Wahrscheinlich morgen, zum Kaffee.