Thorsten Mohr

Das Team von "Summa cum fraude" (v.l.n.r.): Ulrich Herb, Anne Holtsch, Karin Jacobs, Frank Müller.

Gefälschten Daten auf der Spur

Auf der Suche nach den Nadeln im Heuhaufen

Anfang 2020 startete das Projekt „Summa cum fraude - Wissenschaftliches Fehlverhalten und der Versuch einer Gegenoffensive“, das von der DFG gefördert wird. Inzwischen haben die vier Wissenschaftlerinnen und Wissenschaftler einiges an Material zusammengetragen. Sie finden klare Hinweise darauf, dass das Fälschen wissenschaftlicher Daten vor allem in Indien und China gehäuft vorkommt. Nach einem Jahr ziehen sie nun eine Zwischenbilanz.
Von Thorsten Mohr • 04.12.2020

Frank Müllers Mission erinnert an die sprichwörtliche Suche nach der Nadel im Heuhaufen. „Aber in diesem Heuhaufen liegen Tausende von Nadeln“, sagt der habilitierte Experimentalphysiker, der am Lehrstuhl von Professorin Karin Jacobs lehrt und forscht. Müller, Jacobs, ihre Mitarbeiterin Dr. Anne Holtsch sowie Dr. Ulrich Herb von der Universitäts- und Landesbibliothek gehen gemeinsam im von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekt „Summa cum fraude - Wissenschaftliches Fehlverhalten und der Versuch einer Gegenoffensive“ auf die Jagd nach Fälschungen in wissenschaftlichen Publikationen mit dem Ziel, wirksame Maßnahmen zu entwickeln, die dem entgegenwirken.

Das Fazit nach einem knappen Jahr ist ernüchternd. „Wenn ich stichprobenartig Publikationen aus wissenschaftlichen Datenbanken nach bestimmten Auswahlkriterien, etwa regionale Herkunft, heraussuche, komme ich auf einen Anteil von 33 bis 40 Prozent von Artikeln, die mit gefälschten Daten arbeiten“, sagt der Experimentalphysiker Frank Müller, der für seine Stichproben meist ebenfalls Publikationen aus der Experimentalphysik herausgesucht hat, die er als Fachmann beurteilen kann. Insbesondere Publikationen aus Indien und China stechen hier hervor.

Besonders eine Art der Fälschung fällt ihm nach mehreren Hundert untersuchter Fälle auf: „In den beanstandeten Publikationen tauchen immer wieder exakt dieselben Messdaten auf, was am immer identischen Untergrundrauschen erkennbar war.“ Dabei ist es eigentlich ein Ding der Unmöglichkeit, dass eine Messung zu 100 Prozent exakt dieselben Messwerte wiedergibt, auch wenn die Bedingungen identisch sind. Vergleichbar ist das mit einer Tonaufnahme eines Interviews, das zweimal geführt wird: Selbst wenn derselbe Interviewer exakt dieselben Fragen an dieselbe Person richtet und diese bis auf die letzte Silbe exakt dieselben Antworten gibt, werden sich die Aufnahmen voneinander unterscheiden. Die Hintergrund- und Begleitgeräusche werden andere sein. Mal rauscht vielleicht die Klimaanlage, mal sind vielleicht die Blätter eines Baumes zu hören, die im Wind rascheln, mal wird sich ein Gesprächspartner kurz räuspern. An den Messdaten selbst – also dem Gespräch – wird sich nichts ändern. Aber wenn man das Gespräch visualisiert, also etwa als Diagramm mit X- und Y-Achse wiedergibt, wird die Kurve dank der andersartigen Hintergrundgeräusche anders aussehen. Genauso verhält es sich auch mit den Messdaten in naturwissenschaftlichen Publikationen.

 

Einmal hatte ich einen Autor aus Indien gefunden, dessen Kurven rückwärts verlaufen sind.

Frank Müller

 

In vielen untersuchten Veröffentlichungen sind die Messdaten im Untergrund bis auf den kleinsten Zacken deckungsgleich, die Messsignale jedoch unterschiedlich, was ein klares Indiz für einen gefälschten Datensatz ist. Die Glaubwürdigkeit auch der validen Messdaten ist damit zunichte gemacht. Manche Fälschungen sind auch so verrückt, dass man es erst gar nicht glauben mag: „Einmal hatte ich einen Autor aus Indien gefunden, dessen Kurven rückwärts verlaufen sind“, erklärt Frank Müller. Anders gesagt: Die angebliche Messung, die damit grafisch dargestellt wurde, hat zur selben Zeit, die auf der einen Achse angegeben wurde, zwei unterschiedliche Messwerte ergeben. Frank Müller macht die Herausgeber der Fachmagazine auf solche krassen Fälle aufmerksam. Die Reaktionen darauf sind vielfältig. Sie reichen vom Zurückziehen des Artikels bis hin zum Schulterzucken der Verlagsverantwortlichen, berichtet Frank Müller.

Schuld daran seien insbesondere zwei Umstände, sagen die Projektleitenden. Zum einen der Druck, dessen Ursprung im so genannten „Publish or Perish“-Phänomen liegt, also „veröffentliche oder gehe unter“: Einige Wissenschaftler und Wissenschaftlerinnen, insbesondere in Indien oder China, haben strikte Vorgaben ihrer Universitäten umzusetzen. Schaffen sie es nicht, eine festgelegte Anzahl von Artikeln in Fachmagazinen mit einem ebenfalls festgelegten Impact Factor einer gewissen Höhe zu veröffentlichen, stockt ihre wissenschaftliche Karriere oder ist gar komplett bedroht. Der zweite Grund ist Geld: In China beispielsweise werden wissenschaftliche Publikationen mit Prämien belohnt. Je höher der Impact Factor, der Wert, der das Renommée einer Zeitschrift wiedergibt, desto mehr Prämie fließt an den Erstautor. Bei den Top-Zeitschriften wie „Science“ oder „Nature“ kann eine Publikation dann auch einmal 150.000 Dollar Prämie bedeuten.

Solche Belohnungssysteme sind der ideale Nährboden für das Fehlverhalten, das Frank Müller und seine Kolleginnen und Kollegen beobachten. Das eine zwingt die Wissenschaftler und Wissenschaftlerinnen aus purer Existenznot heraus, viel zu publizieren. Das andere ist die Gier nach Geld. „Beide Belohnungssysteme sind keine Motivation für eine gute Wissenschaft“, sagt Karin Jacobs. Zwar gebe es auch in Deutschland und anderen westlichen Ländern den Druck zu publizieren und auch monetäre Anreize. Aber die sind längst nicht so ausgeprägt wie in den beiden Hotspots wissenschaftlicher Fälschungen, nämlich China und Indien.

„Die DFG beispielsweise hat auf ‚Publish or Perish‘ reagiert, indem man bei Anträgen nur noch maximal zehn Publikationen angeben darf“, sagt Karin Jacobs. Damit möchte die größte deutsche Forschungsförderungsgesellschaft dem Publizieren des Publizierens willen entgegenwirken. Außerdem gibt es zwar auch in Deutschland finanzielle Prämien für wissenschaftliche Publikationen, die jeder Wissenschaftler und jede Wissenschaftlerin mit seiner Universität verhandeln kann,  diese liegen aber deutlich unterhalb dessen, was beispielsweise in China bezahlt wird.

Die paar Hundert von den Saarbrücker Wissenschaftlerinnen und Wissenschaftlern gefundenen Fälle könnten angesichts rund 2,4 Millionen wissenschaftlicher Publikationen weltweit, wie sie zum Beispiel für das Jahr 2017 zu finden sind, nur als Einzelfälle und kleine Ärgernisse durchgehen. Aber neben falschen Anreizen wie unverhältnismäßigen Prämienzahlungen oder existenziellem Druck ist es auch diese schiere Flut wissenschaftlicher Veröffentlichungen, die manche Veröffentlichung in zweifelhaftem Licht dastehen lässt. „Manchmal hat man den Eindruck, dass jeder Mist publiziert wird“, fasst Frank Müller das sehr prosaisch zusammen. In weniger angesehenen Fachjournalen rutscht dann auch schnell eine mit gefälschten Daten gespickte Arbeit durch, da auch die Gutachter und Gutachterinnen, die eigentlich unabhängig die Qualität einer eingereichten Arbeit bewerten sollten, aufgrund der Artikelflut nur noch oberflächlich auf die Beiträge schauen und sie durchwinken. Da Wissenschaft ein sehr selbstreferenzielles System ist, in dem also der eine Autor bzw. Autorin den anderen zitiert, entsteht so irgendwann eine Vielzahl von Veröffentlichungen, die auf falschen Daten und Annahmen basieren.

 

Jacobs

Wir müssen aufpassen, dass gerade in unserer gegenwärtigen Situation die Wissenschaft nicht ihre Glaubwürdigkeit aufs Spiel setzt.

Karin Jacobs

 

„Wir müssen aufpassen, dass gerade in unserer gegenwärtigen Situation die Wissenschaft nicht ihre Glaubwürdigkeit aufs Spiel setzt“, warnt Karin Jacobs vor einer dadurch entstehenden Schieflage. Denn der überwältigende Teil wissenschaftlicher Veröffentlichungen sei zwar korrekt, die Daten sauber aufgearbeitet. Unterm Strich helfe es aber nicht, ein paar kleine Stellschrauben zu drehen, um eine drohende Schieflage zu verhindern. Publikationsdruck und Geldprämien müssten drastisch sinken. Und: „Es müssten grundsätzlich mit jeder Veröffentlichung auch immer gleich die Rohdaten mitgeliefert werden. Und wenn ein Artikel zurückgezogen wird, müssten Artikel, die diesen anschließend zitiert haben, automatisch mit einem Hinweis versehen werden. Hier gibt es aber bisher keine einheitliche Lösung“, sagt Physikprofessorin Karin Jacobs.

Außerdem müsse sich die Denkweise der Journale ändern. „Bisher haben die Verlage eher Angst vor einer hohen Retraction Rate“, also der Zahl der zurückgezogenen Artikel. „Dabei müsste sich eigentlich der Gedanke durchsetzen, dass eine hohe Retraction Rate nicht gegen, sondern viel mehr für die Qualität eines Journals spricht“, so die Experimentalphysikerin. Denn schließlich würde es irgendwann auch dem letzten einleuchten: Was in diesem Journal steht, wird genau durchleuchtet und hat somit wirklich Hand und Fuß.

Bis es so weit ist, wühlen die saarländischen Fälschungsjäger weiter im großen Heuhaufen der Wissenschaft auf der Suche nach der nächsten rückwärtslaufenden Kurve.

Weitere Informationen

Das Projekt „Summa Cum Fraude“ ist ein Wortspiel aus der Bestbewertung für eine Doktorarbeit „summa cum laude“ und dem lateinischen Wort für Betrug „fraus“. Die Deutsche Forschungsgemeinschaft fördert das Projekt seit 2019 mit 170.000 Euro für 3 Jahre. Weitere Informationen unter: https://gepris.dfg.de/gepris/projekt/430681129?context=projekt&task=show....

Ulrich Herb hat am 21. August 2020 ein Interview mit Frank Müller auf dem Debattenportal „Telepolis“ veröffentlich, in welchem viele weitere Informationen über das Problem gefälschter wissenschaftlicher Daten zu lesen sind: https://www.heise.de/tp/features/Wissenschaftliches-Fehlverhalten-von-de....

 

Quellennachweis
  • Bilder
    Thorsten Mohr

    Jacobs