Wie findet man heutzutage heraus, ob eine Studie fehlerhaft ist oder manipuliert wurde?

 

Wissenschaftliches Fehlverhalten ist ein heikles Thema. Es ist schwierig, nachzuweisen, dass ein Forscher Daten gefälscht hat. Anschuldigungen können zudem schwerwiegende Folgen haben.

Dies könnte erklären, warum diesem Thema lange Zeit wenig Aufmerksamkeit geschenkt wurde – und die Annahme herrschte, dass es nur wenige Fälschungen gibt. Die meisten Fälle wurden früher zudem nicht von Herausgebern oder Gutachtern aufgedeckt, sondern von Whistleblowern (oft Doktoranden) aus demselben Forschungsteam.

Bis vor kurzem suchten daher nur wenige Menschen in der Wissenschaft aktiv nach Betrugsfällen. Zwar bewerteten Autoren systematischer Übersichtsarbeiten die Qualität von Studien. Doch sie gingen selten davon aus, dass manche Ergebnisse möglicherweise vollständig erfunden waren. Dies gehörte nicht zu ihren Aufgaben. Fast alle waren überzeugt, dass Forscher in gutem Glauben handelten.

Eine oft zitierte Schätzung stammt aus einer Metaanalyse von Umfragen zum wissenschaftlichen Fehlverhalten unter Forschern aus dem Jahr 2009: Dort gaben etwa 2 % der Wissenschaftler zu, mindestens einmal Daten oder Ergebnisse erfunden, gefälscht oder verändert zu haben“.

In den letzten 15 Jahren hat sich die Situation jedoch langsam gewandelt. Große Forschungskooperationen stellten fest, dass viele einflussreiche Studien aus der Psychologie und den biomedizinischen Wissenschaften nicht reproduzierbar waren. Als Reaktion auf diese „Replikationskrise“ wurden wissenschaftliche Methoden und Ergebnisse genauer unter die Lupe genommen. Ermittler begannen, nach unmöglichen statistischen Ergebnissen und manipulierten Bildern zu suchen. Es gab eine Menge Leichen im Keller.

Skandale in den letzten 15 Jahren: Eine Flut von Rücknahmen

Einige Beispiele: 

a) Die Amyloid-Hypothese in der Alzheimer-Forschung

Eine einflussreiche Veröffentlichung aus dem Jahr 2006 in der Fachzeitschrift „Nature“, sagte aus, dass die Ablagerung von Amyloid-Proteinen ein wesentlicher Auslöser für die Neurodegeneration ist. Sie musste wegen manipulierter Bilder zurückgezogen werden. In ähnlicher Weise hat das Pharmaunternehmen Cassava Sciences kürzlich seine klinischen Studien zu Alzheimer eingestellt, nachdem bekannt wurde, dass die ihnen zugrunde liegende Forschung ebenfalls manipulierte Bilder enthielt.

b) Skandale an Universitäten

Das Dana Farber Cancer Institut, das mit der Harvard Universität verbunden ist, zog sechs Artikel zurück, nachdem ein Biologe in einem Blog zahlreiche Probleme aufgedeckt hatte. Unterdessen trat der Präsident der Stanford University zurück, nachdem bekannt wurde, dass seine Forschung eine „ungewöhnlich hohe Häufigkeit von Manipulationen an Forschungsdaten und/oder wissenschaftlich unzulängliche Praktiken“ aufwies.

c) Hydroxchloroquin bei Covid

Zu Beginn der SARS-CoV-2-Pandemie behauptete eine vielfach zitierte französische Studie, dass Hydroxychloroquin (Markenname Plaquenil) ein wirksames Mittel zur Behandlung von COVID-19 sei. Diese Studie wurde nun aufgrund schwerwiegender wissenschaftlicher Mängel zurückgezogen. Bei näherer Prüfung wurden auch mehr als 30 weitere Veröffentlichungen derselben Forschungsgruppe zurückgezogen.

Doch damit nicht genug. Eine groß angelegte Studie in der Fachzeitschrift „The Lancet“ kam zu dem Schluss, dass Hydroxychloroquin bei der Behandlung von COVID-19 unwirksam sei, doch auch diese Studie wurde letztendlich diskreditiert. Die Studie stützte sich auf eine Datenbank mit Daten aus mehr als tausend Krankenhäusern, die von dem Unternehmen Surgisphere zusammengestellt worden war. Einige dieser Daten erschienen unglaubwürdig. So lag beispielsweise die Zahl der COVID-19-Todesfälle in Australien über der offiziell erfassten Zahl. „The Lancet“ zog den Artikel zurück, wobei der Herausgeber ihn als „ein schockierendes Beispiel für wissenschaftliches Fehlverhalten inmitten einer globalen Gesundheitskrise“ verurteilte.

d) Ivermectin

Studien zu Ivermectin (einem weiteren Medikament, das als Behandlung für COVID-19 angepriesen wurde) waren nicht besser. Mehrere Studien wiesen Unregelmäßigkeiten oder unrealistische Zahlen auf und wurden zurückgezogen. Eine Cochrane-Übersichtsarbeit schloss die Hälfte aller Studien (7 von 14) aus, „da diese Studien die erwarteten ethischen und wissenschaftlichen Kriterien nicht erfüllten“.

Die Folgen: Schwere Schäden

Neben der Verschwendung von Forschungszeit und -geldern hat wissenschaftliches Fehlverhalten in der medizinischen Forschung v.a. gesundheitliche Schäden verursacht.

Drei Beispiele: 

a) Joachim Boldt: Hydroxethylstärke bei OPs

Nehmen wir das Beispiel des deutschen Anästhesisten Joachim Boldt. Er veröffentlichte mehrere Artikel über Hydroxyethylstärke, eine Lösung, die das Blutvolumen bei kritisch kranken Patienten während einer Operation erhöht. Seine Studien zeigten eine geringere Sterblichkeitsrate bei den behandelten Patienten im Vergleich zu einer Kontrollgruppe. Die meisten seiner Studien wurden jedoch aufgrund von wissenschaftlichem Fehlverhalten – darunter das Fehlen einer ethischen Genehmigung und die Fälschung von Daten – zurückgezogen. Eine Übersichtsarbeit im JAMA ergab, dass Stärkeinfusionen – ohne Berücksichtigung von Boldts Studien – mit Nierenversagen und einem erhöhten Sterberisiko in Verbindung standen.

b) Don Poldermann: Betablocker vor OPs

Ein weiterer prominenter Fall ist der des niederländischen Kardiologen Don Poldermans. Seine Forschungsergebnisse deuteten darauf hin, dass die Verabreichung von Betablockern vor einer Operation Komplikationen wie Herzinfarkte und Schlaganfälle reduzieren könnte. Auf der Grundlage seiner Erkenntnisse wurde dieser Ansatz in einigen medizinischen Leitlinien empfohlen. Im Jahr 2012 kam eine Untersuchung seines ehemaligen Arbeitgebers, der Erasmus Medical School, jedoch zu dem Schluss, dass Poldermans fiktive Daten verwendet hatte. Eine Übersichtsarbeit aus dem Jahr 2014, in der seine Studien ausgeschlossen wurden, ergab, dass Betablocker zu einem Anstieg der Sterblichkeit um 27 % führten, und forderte eine rasche Aktualisierung der klinischen Leitlinien. Es ist unklar, wie viel Schaden die falschen Daten angerichtet haben. Manche Schätzungen gehen jedoch

von bis zu Hunderttausenden von Todesfällen aus.

c) Steroide vor dem Kaiserschnitt

Eine Cochrane-Übersichtsarbeit aus dem Jahr 2018 kam zu dem Schluss, dass die Verabreichung von Steroiden vor einem Kaiserschnitt die Atmung bei Frühgeborenen verbessern würde. Diese Erkenntnisse flossen in mehrere Leitlinien ein. Die Daten zur späten Schwangerschaft basierten jedoch lediglich auf einer britischen und drei ägyptischen Studien. Letztere waren mit statistischen Problemen und unrealistischen Daten behaftet. Die Redaktion zog den Artikel daraufhin mit einer Warnung zurück. 2021 zeigte sich, dass die Evidenz nicht ausreichte, um eine Schlussfolgerung zu ziehen.

Wie erkennt man Fälschungen?

a) „Zu schön, um wahr zu sein“

Manchmal wird wissenschaftliches Fehlverhalten aufgedeckt, weil die Studienergebnisse zu gut erscheinen, um wahr zu sein. Sie fallen durch ihre enormen Effektstärken oder das Fehlen von Behandlungskomplikationen auf.

Kritiker merkten beispielsweise an, dass die Ergebnisse des japanischen Forschers Yoshitaka Fujii „unglaublich schön“ aussahen – ein Jahrzehnt, bevor er mit mehr als 170 zurückgezogenen Artikeln den zweiten Platz auf der „Retract Watch“-Rangliste einnehmen sollte.

Die Daten des Sozialpsychologen Diederik Stapel passten so perfekt zu seinen Hypothesen, dass jemand während einer Forschungssitzung scherzhaft bemerkte: „Es ist, als hätte er diese Daten selbst erfunden.“ Das war leider nicht weit von der Wahrheit entfernt. Stapel belegt mittlerweile den achten Platz auf der „Retraction Watch“-Rangliste. Die „New York Times“ beschrieb ihn als „Betrüger“, der „einen dreisten wissenschaftlichen Betrug begangen hat, indem er Studien erfand, die der Welt genau das erzählten, was sie über die menschliche Natur hören wollte“.

b) Paper Mills

In anderen Fällen versuchen Autoren, nicht durch ihre gefälschten Artikel aufzufallen. Sie wollen weder die Politik beeinflussen noch Aufmerksamkeit erlangen, sondern lediglich schnell und einfach eine Veröffentlichung erzielen. Diese hilft Ärzten und Forschern bei Beförderungen oder Doktortiteln

Zwielichtige Unternehmen machen sich diese Nachfrage zunutze, indem sie Forschungsartikel verfassen und zahlenden Kunden anbieten, als Autor genannt zu werden. Schätzungen zufolge haben diese sogenannten „Paper Mills“ Tausende problematischer Artikel in die Fachliteratur eingeschleust.

Wie aber werden Fälschungen heutzutage aufgedeckt?

a) Paper Mills

Bei sogenannten „Paper Mills“ gibt es oft eindeutige Warnzeichen - wie zum Beispiel Autorenangaben, die nicht zum Inhalt des Artikels passen oder das Hinzufügen neuer Autoren kurz vor der Veröffentlichung.

b) Bild-Manipulationen

Automatisierte Tools wie Imagetwin können duplizierte oder manipulierte Bildern erkannt werden. Durch sorgfältige Untersuchung der Abbildungen fanden sich z.B. Fälle, in denen Teile eines Bildes in einem anderen Experiment dupliziert wurden oder in denen ein Hintergrund subtil in ein anderes Bild hineinretuschiert wurde.

c) Doppelte Datensätze

Datensätze können auch Anzeichen für Duplikate offenbaren, beispielsweise wenn dieselben Zahlen in verschiedenen Experimenten auftauchen oder Spalten in Excel-Tabellen kopiert und eingefügt wurden. In einem Fall von Fuji fiel den Lesern auf, dass die Häufigkeit von Kopfschmerzen in 13 verschiedenen Artikeln zwischen den Gruppen identisch war.

Wenn Ermittler Zugriff auf eine Excel-Tabelle haben, können sie auch das Änderungsprotokoll einsehen, um festzustellen, welche Änderungen an der Datei vorgenommen wurden (wenn man ein Excel-Dokument entpackt, erhält man eine „calcChain.xml“-Datei, die diese Informationen enthält). Häufiger weigern sich Forscher jedoch, ihren Datensatz offenzulegen, sodass Betrugsermittler nur mit zusammenfassenden Statistiken arbeiten können.

d) Die Carlisle Methode

Der Anästhesist John Carlisle entwickelte eine Methode unter Verwendung von Ausgangswerten aus randomisierten Studien. Sie ist bei weitem nicht perfekt, kann aber als Screening-Instrument nützlich sein, um verdächtige Veröffentlichungen zu erkennen. So trug sie beispielsweise dazu bei, Probleme bei einer großen Studie zur Mittelmeerdiät aufzudecken, die im „New England Journal of Medicine“ veröffentlicht wurde.

e) GRIM und SPRITE: unmögliche Werte

Oft sind auch die zusammenfassenden Daten höchst unwahrscheinlich. In dem Zusammenhang haben Nick Brown und James Heathers eine Software namens SPRITE entwickelt, die mögliche Datensätze anhand von Zusammenfassungsstatistiken rekonstruiert.

Brown und Heathers wiederum erschufen ein Tool namens GRIM (granularity related inconsistency of means), um inkonsistente Mittelwerte zu überprüfen.

f) Statcheck

Andere Forscher haben voll ausgereifte automatische Tools entwickelt, um wissenschaftliche Arbeiten auf Unstimmigkeiten zu überprüfen. Das von Michele Nuijten entwickelte Statcheck beispielsweise berechnet die Teststatistiken der angegebenen p-Werte neu. Das Programm ist eher eine Rechtschreibprüfung für statistische Angaben als wie ein Tool zur Betrugsaufdeckung. Es funktioniert jedoch nur für Statistiken, die im Format der American Psychological Association (APA) dargestellt sind, während medizinische Fachzeitschriften oft andere Formate verwenden.

g) Seek & Blast

In der Genforschung gibt es ein Tool namens „Seek & Blast“. Dieses Programm, das von der Krebsforscherin Jennifer Byrne entwickelt wurde, konzentriert sich auf Nukleotidsequenz-Reagenzien, kleine DNA- oder RNA-Stücke, die an bestimmte Stellen des natürlichen genetischen Materials binden. Seek & Blast überprüft automatisch, ob Forscher das richtige Reagenz für das genetische Ziel verwenden, das in der Veröffentlichung angeblich untersucht wird.

h) Verzerrte Formulierungen

Zudem gibt es inzwischen auch einen Detektor für „gequälte Formulierungen“.

Manchmal kopieren Forscher Text aus anderen wissenschaftlichen Artikeln und fügen ihn ein. Um Plagiatsvorwürfe zu vermeiden, nutzen sie Tools, die den Text automatisch umformulieren. Manchmal entstehen dabei Formulierungen, die seltsam klingen und im Kontext keinen Sinn mehr ergeben - .ein Hinweis darauf, dass eine Arbeit von einer „Paper Mill“ produziert wurde.

Guillaume Cabanac und seine Kollegen haben Pionierarbeit bei der Erkennung von „verzerrten Formulierungen“ in der Informatik geleistet, doch andere haben diese Methode in der Medizin angewendet und einige urkomische Beispiele gefunden.

i) Fehlende ethische Genehmigung

Viele der oben genannten Tools liefern eher Warnsignale als eindeutige Beweise. Die von ihnen aufgedeckten Fehler können zufällig und harmlos sein. Unterschiedliche Rundungsmethoden könnten einige Unstimmigkeiten erklären.

Wenn jedoch mehrere Warnsignale auftreten, könnten Forscher andere Arbeiten derselben Autoren untersuchen, um festzustellen, ob diese Duplikate oder Unstimmigkeiten enthalten. Dies ermöglicht es ihnen, gegenüber Fachzeitschriften und Universitäten stichhaltigere Argumente vorzubringen und eine Untersuchung zu beantragen.

Eine offizielle Untersuchung deckt oft weitere Probleme auf, wie beispielsweise das Fehlen einer ethischen Genehmigung für Studien. Dies war der Fall bei der Bezwoda-Studie zu Knochenmarktransplantationen bei Krebspatienten sowie bei mehreren mikrobiologischen Studien der französischen Gruppe, die Hydroxychloroquin als Behandlung für COVID-19 bewarb.

j) Wo wurden die Daten erhoben?

Manchmal reicht bereits die Frage nach der Datenerhebung aus.

Stapel beispielsweise behauptete, er habe Daten an Schulen erhoben. Doch als der Rektor versuchte, Kontakt zu diesen Schulen aufzunehmen, gab er zu, dass diese gar nicht existierten.

Ein weiteres prominentes Beispiel ist die Kfz-Versicherungsstudie des Verhaltensökonomen Dan Ariely. Als Forscher feststellten, dass die Daten dieser Studie wahrscheinlich gefälscht waren, konnte Ariely nicht klären, wie sie erhoben worden waren.

Fazit durch Heathers’ Metaanalyse

Im vergangenen Jahr fasste James Heathers all diese Informationen in einer Übersichtsarbeit zusammen und kam zu dem Schluss, dass etwa jede siebte wissenschaftliche Arbeit gefälscht ist. Die Übersichtsarbeit stützt sich auf mehrere Studien, in denen ein großer Teil der Fachliteratur mithilfe der oben erläuterten Methoden auf Anzeichen von Fälschung und Manipulation untersucht wurde.

Die Studien konzentrieren sich hauptsächlich auf die Psychologie und die Biomedizin. Obwohl es sich hierbei nur um eine grobe Schätzung handelt und Heathers einräumt, dass seine Untersuchung „äußerst unsystematisch“ ist, deutet dies doch darauf hin, dass wissenschaftliches Fehlverhalten möglicherweise häufiger vorkommt als bisher angenommen.

Initiativen gegen Betrug und Manipulation

Daher werden aktuell verschiedene Initiativen ergriffen, um Betrug in der wissenschaftlichen Literatur zu bekämpfen. Forscher entwickeln beispielsweise Checklisten für systematische Übersichtsarbeiten, um festzustellen, ob eine Veröffentlichung vertrauenswürdig ist oder nicht. 

Das größte Projekt ist das INSPECT-SR-Tool, das von Jack Wilkinson, einem statistischen Redakteur bei Cochrane, geleitet wird. 

Andere stellen Mittel für Ermittler und Überprüfungen nach der Veröffentlichung bereit. Retraction Watch kündigte beispielsweise ein „Sleuth in Residence Program“ an, das einem aktiven Detektiv mit nachweisbarer Erfolgsbilanz eine sichere und bezahlte Stelle bietet.

In ähnlicher Weise nutzte Elisabeth Bik die Einnahmen aus ihrem Einstein-Preis, um einen Fonds für wissenschaftliche Integrität zu gründen. Dieser wird Mittel für Detektive sowie für Schulungsprogramme, Stipendien und Auszeichnungen für Verfechter wissenschaftlicher Integrität bereitstellen. Ein Projekt, das bereits läuft, heißt: „ERROR: A Bug Bounty Program for Science“. Unter der Leitung von Dr. Ian Hussey und nach dem Vorbild von Bug-Bounty-Programmen in der Tech-Branche zielt es darauf ab, Fehler in wissenschaftlichen Publikationen systematisch aufzuspüren und zu melden.

Das sind positive Entwicklungen, doch es gibt auch einige besorgniserregende Anzeichen. Eine der traurigsten Statistiken zeigt z.B. auf, dass viele zurückgezogene Artikel weiterhin zitiert werden, als gäbe es überhaupt keine Probleme mit ihnen. Sie werden oft als „Zombie-Artikel“ bezeichnet.

Es gibt viel zu tun! Und es ist gut, differenziert und kritisch zu bleiben!

(Anmerkung: Diese Informationen stammen aus dem Artikel von ME/CFS science;
 https://mecfsscience.org/how-many-scientific-papers-are.../, übersetzt und zusammengefasst mit Hilfe von deepl.com)