So lecker Schokolade auch sein mag, beim Abnehmen hilft sie wohl kaum. © Wikimedia Commons. CC BY-SA 3.0.
In den Medien aller Welt kursieren zur Zeit die Ergebnisse einer Studie, der zufolge Schokolade nicht nur beim Abnehmen hilft, sondern darüber hinaus auch den Cholesterinspiegel senkt und einen gesunden Schlaf fördert. Nun hat sich der Autor der Studie in seinem Blog als Journalist geoutet, der mit dem Wirbel um die Ergebnisse der wissenschaftlich lausigen Studie auf die Missstände in der Ernährungsforschung und die unkritische Verbreitung ihrer Ergebnisse durch die Medien aufmerksam machen wollte.
Die Ratschläge für eine gesunde Ernährung, die uns über den Umweg der Medien durch wissenschaftliche Studien vermittelt werden sind zahllos und ändern sich ständig. Mal ist eine fettreiche Ernährung ungesund, dann wieder sollen Fette doch weniger dick machen als Kohlenhydrate. Bis vor wenigen Jahren sollten Diabetiker nur Fructose statt dem weit verbreiteten Zucker Glucose zu sich nehmen. Nun aber ist Fructose gerade dabei in Verruf zu geraten, weil angeblich immer mehr Mensch gegen den Zuckerzusatz allergisch reagieren. Nach dem Weinbestandteil Resveratrol, der uns lange als wahres Wundermittel gegen Alterungsprozesse angepriesen wurde ist nun die dunkle Schokolade als ergiebiges Allheilmittel aufgekommen.
Doch viele der Studien, bei denen die gesundheitliche Wirkung von Lebensmitteln untersucht werden sind wissenschaftlich lausig aufgesetzt. Dennoch stürzen sich die Medien mit Begeisterung auf ihre Ergebnisse, ohne sie zu hinterfragen. Auf dieses Manko wollte der Journalist John Bohannon, seines Zeichens promovierter Biologe, Fachgebiet Bakterien, also Mikrobiologie, aufmerksam machen.
Flugs setzte er eine Internetseite mit dem Namen Institute of Diet and Health ins Web, die ihm als Referenz für die Veröffentlichung eines Fachartikels dienen sollte. Dann rekrutierte er für seine Kollegen Peter Onneken und Diana Löbl, die einen Film über die Missstände in der Ernährungsforschung drehen wollten, ein paar Freiwillige für seine Ministudie. Die immerhin 16 Teilnehmer, fünf Männer und elf Frauen teilten sie in drei Gruppen ein: Die einen erhielten eine kohlenhydratarme Diät, die zweite Gruppe unterzog sich der gleichen Diät, sollte jedoch darüber hinaus täglich eine halbe Tafel bittere Schokolade zu sich nehmen. Der dritten Gruppe dagegen, die als Kontrolle dienen sollte, wurden keinerlei Vorgaben bezüglich ihrer Ernährung gemacht. Die kurz angelegte Studie erstreckte sich über nur 21 Tage. Dazu mussten die Probanden jeden morgen ihr Gewicht ermitteln. Zum Abschluss mussten sie noch einen Fragebogen ausfüllen und eine Blutprobe für Laboruntersuchungen abgeben. Schon war die Studie in der Kiste und musste nur noch ausgewertet werden. So weit so gut. Also eine ganz normale Studie, wie sie nicht nur im Ernährungsbereich weit verbreitet ist.
Auch bei der Auswertung der Daten folgten die Autoren dem allgemeinen Standard: Bei einer Teilnehmerzahl von nur 15 Personen (eine Person wurde nicht berücksichtigt) werteten sie gleich 18 verschiedene Parameter aus, wie Gewicht, Cholesterinspiegel, Salz, den Proteingehalt im Blut, wie gut die Testpersonen geschlafen hatten, das Allgemeinbefinden und vieles andere mehr. Der Clou dabei: Eine so aufgesetzte Studie führt zwangsläufig zu falsch positiven Ergebnissen. Mit jedem einzelnen Parameter, der erfasst wird steigt die Wahrscheinlichkeit, dass man bei einem von ihnen ein statistisch „signifikantes“ Ergebnis erhält. Und statistisch signifikant ist ein Ergebnis immer dann, wenn die Wahrscheinlichkeit, dass das Ergebnis zufällig zustande kommt unter 5 Prozent liegt. Im Fachjargon heißt das, der p-Wert ist kleiner als 0,05. Mit ihren 18 Parametern konnten die Autoren laut der Formel:
P(Wahrscheinlichkeit für signifikantes Ergebnis) = 1 – (1 – p)n
mit 60%iger Wahrscheinlichkeit damit rechnen, dass sie zumindest für einen Parameter ein signifikantes Ergebnis erhalten würden. Die Karten standen also gut für sie. Welcher Faktor das sein würde war anfangs völlig offen. Schließlich ergab die Auswertung postive Ergebnisse für die Schokoladenesser beim Abnehmen: sie zeigten 10% mehr Gewichtsverlust. Und der Fragebogen ergab, dass sie besser schliefen, als die beiden andern Gruppen. Die Auswertung der Blutproben ergab darüber hinaus auch noch, dass Schokolade für einen besseren Cholesterinspiegel sorgt.
Diese Effekte verdanken die Autoren unter anderem der Tatsache, dass bei kleinen Studien die Bedeutung einzelner Faktoren überbewertet werden. So kann etwa das Gewicht einer Frau im Laufe ihres Menstruationszykluses um bis zu 2,5 kg schwanken. Was wesentlich mehr ist als der von den Autoren gefundene Unterschied zwischen den Schokoladeessern und der Gruppe die die Low-Carb-Diät durchführte. Für eine gut gemachte Studie braucht man daher eine große Zahl an Studienteilnehmern, deren Zusammensetzung vergleichbar sein muss: Etwa in Bezug auf Altern und Geschlecht oder andere für das Studienergebnis relevante Faktoren. Aber darum scherten sich die Autoren nicht. Eine bei vielen Ernährungsstudien gängige Praxis. Wobei es sich dabei nicht um bewusste Täuschungsmanöver der ausführenden Wissenschaftler handelt. Meist sind die sich dieser Fehlerquellen nicht wirklich bewusst. Nicht selten wiederholen sie deshalb eine Studie, die nicht ihren Erwartungen entspricht so lange bis die Ergebnisse passen, weil sie davon ausgehen einem Fehler aufgesessen zu sein.
John Bohannon fasste die Ergebnisse zu einer Veröffentlichung zusammen und schickte sie gleich an 20 verschiedene Fachzeitschriften, in denen man gegen Geld Artikel veröffentlichen kann und die für ihre laxe Publikationspraxis bekannt sind. Die Zeitschriften werben zwar auf ihren Webseiten damit, die Artikel durch Peer Review, wie auch bei renommierten Fachzeitschriften üblich, von wissenschaftlichen Kollegen vor der Veröffentlichung überprüfen zu lassen. Doch John Bohannon erhielt bereits nach 24 Stunden die Zusage von vielen verschiedenen Fachzeitschriften. Peer Review? Fehlanzeige! Schließlich entschieden sich die Autoren ihren Artikel in den International Archives of Medicine zu veröffentlichen. Einer ehemals recht angesehen Fachzeitschrift, die jedoch vor kurzem verkauft wurde.
Nun musste das Team nur noch ordentlich die Werbetrommel rühren, um die Medien auf die frohe neue Botschaft aufmerksam zu machen, dass Schokolade angeblich beim Abnehmen hilft. Der Artikel wurde ein voller Erfolg: Unzählige Medien stürzten sich geradezu auf die vermeintlich neuen Erkenntnisse. Kaum einer der Journalisten stellte die entscheidenden, kritischen Fragen nach den genauen Details der Studie. Und das obwohl in der Studie keine Angaben über die Zahl der Probanden gemacht wurde.
Und die Moral von der Geschicht? Traue einer Ernährungsstudie nicht, bevor Du nicht die Details der Studie kennst. Wobei das nicht nur für Studien mit geringer Teilnehmerzahl gilt. Selbst groß angelegte Studien können Fehlinterpretationen liefern, wenn sie im wesentlichen nur auf Korrelationen beruhen. Und das ist nicht selten der Fall. Korrelationen sind aber in keiner Weise dazu geeignet Kausalzusammenhänge aufzudecken, da sie rein zufälliger Natur sein können. So kam etwa vor kurzem eine umfangreiche schwedische Studie zu dem Ergebnis, Menschen, die Milch trinken würden früher sterben. Die Ergebnisse solcher Studien sind dabei ähnlich sinnvoll wie der Versuch aus der Tatsache, dass in Sommern mit hohem Speiseeiskonsum viele Sonnenbrände auftreten, zu schlussfolgern, dass Eisessen Sonnenbrand verursacht. Selbst wenn die Zahl der Sonnenbrände proportional mit dem Speiseeiskonsum ansteigt.
von Ute Keck
Originalpublikation:
Der Artikel ist inzwischen zurückgezogen worden, aber noch unter dem unten genannten Link zugänglich:
Chocolate with high Cocoa content as a weight-loss accelerator. Johannes Bohannon, Diana Koch, Peter Homm, Alexander Driehaus. INTERNATIONAL ARCHIVES OF MEDICINE, SECTION: ENDOCRINOLOGY. 2015. Vol. 8 No. 55. doi: 10.3823/1654. ISSN: 1755-7682