„Freiheit ist, wenn Sie sich um das Wertvollste keine Sorgen machen müssen“ (asservato.de)
Im Jahr 2022 erlaubten sich Bill Foster und Ed Perlmutter ein kleines, auf den ersten Blick lustiges Experiment. Die beiden Mitglieder des US-Repräsentantenhauses schickten einen wissenschaftlichen Text an die National Science Foundation (NSF), einer Regierungsbehörde, die Forschung und Bildung in der Wissenschaft (außer der Medizin) finanziell fördert. Die zwei Senatoren gaben an, dass der Text in einer wissenschaftlichen Zeitschrift veröffentlicht werden solle, und baten um eine Überprüfung, ob es sich um ein Plagiat oder ein Fake handele. Der Text stellte jedoch gar kein neues Papier dar, sondern war eine nur leicht geänderte Version einer bahnbrechenden Arbeit mit dem Titel „Neutron Production and Absorption in Uranium“, die der italienische Physiker und Nobelpreisträger Enrico Fermi 1939 in der Zeitschrift Physical Review veröffentlicht hatte und die die wissenschaftliche Grundlage für den Bau der Atombombe schaffte. Also ein richtig bekannter Text.
Foster und Perlmutter hatten ihn zunächst durch einen kostenlosen Online-Textgenerator geschickt, der KI einsetzt, um Plagiate zu verschleiern. Dieser erste Schritt hatte 15 Sekunden gedauert. Für den zweiten benötigten sie immerhin fünf Minuten – sie änderten ein paar Stellen, indem sie inhaltlich völlig unsinnige Sätze einfügten. Dann reichten sie das Papier bei der NSF ein. Bill Foster war sich sicher, dass jeder Physiker, der als Gutachter für eine wissenschaftliche Zeitschrift tätig ist, das Papier mit seinem teilweise albernen Fachjargon ohne jede Schwierigkeit als Fake-Text erkennen und es außerdem merkwürdig finden würde, dass es von zwei Politikern eingereicht worden war. Doch er musste sich eines Schlechteren belehren lassen: Alle Plagiatsprüfprogramme und auch die Regierungsbehörde NSF winkten den Text anstandslos durch. Er wäre also in dieser Form in einer wissenschaftliche Zeitschrift veröffentlicht worden, hätten Foster und Perlmutter die Sache nicht anschließend gestoppt.
Die zwei berichteten über ihr kleines Experiment anlässlich einer Anhörung im US-Repräsentantenhaus im Juli 2022, das sich mit einem neuartigen Phänomen beschäftigte: das in großem Maßstab betriebene Erstellen pseudo-wissenschaftlicher Artikel durch sogenannte Papermills. Lachen konnte über das kleine kuriose Experiment keiner der Anwesenden. Im Gegenteil machte sich Erstaunen und Entsetzen breit, denn hinter dem Phänomen der Paper Mills verbirgt sich eine sehr große Gefahr, die in ihren genauen Dimensionen noch gar nicht abzuschätzen ist. Aber eins ist jetzt schon klar: Es handelt sich dabei um die größte Bedrohung, der die weltweite Wissenschaft jemals ausgesetzt war. Eine Bedrohung, der sich große Teile der Wissenschaft und praktisch die gesamte Politik und Gesellschaft noch nicht einmal ansatzweise bewusst sind. Unter dem Radar von Politik und Gesellschaften ist innerhalb weniger Jahre dank Künstlicher Intelligenz unbemerkt eine wissenschaftliche, weltweite Fake-Mafia gewachsen. Es ist höchste Zeit, aufzuwachen.
Aber worin liegt eigentlich die Gefahr? Um das zu beantworten, müssen wir kurz erklären, was Paper Mills eigentlich sind. Dabei handelt es sich um Publishing-Agenturen, die mit Hilfe von Künstlicher Intelligenz systematisch und in sehr großer Zahl mit quasi-industriellen Mitteln pseudowissenschaftliche Texte produzieren und diese Wissenschaftlern oder wissenschaftlichen Zeitschriften kostenpflichtig zur Verfügung stellen. Auf den ersten Blick wirken die Texte in vielen Fällen authentisch, doch beim genauen Lesen können sie oft als Fakes enttarnt werden. Andere wiederum sind dermaßen geschickt erstellt, dass ein Enttarnen nur sehr schwer möglich ist. Die KI bedient sich bei existierenden Texten aus Zeitschriften und vermengt sie zu neuen Papieren. Das Ergebnis ist wissenschaftlich im besten Falle völlig wertlos, kann aber auch massive schädliche Auswirkungen haben. Aber es hat aus Sicht der Käufer einen entscheidenden Vorteil: Während ein ehrlich, häufig über viele Jahre mühsam erarbeitetes wissenschaftliches Ergebnis wie ein Einzel- oder Designerstück ist, das wissenschaftlichen Fortschritt generiert, produzieren die Papiermühlen massenhaft solche Texte quasi in einem industriellen Ausmaß, ohne irgendeinen Wert auf den Inhalt zu legen. Das Ziel ist klar: Papiere ohne großen Aufwand in sehr kurzer Zeit herzustellen und zu verkaufen. Die Kunden finden sich in den Reihen von Wissenschaftlern und Ärzten, die keine Zeit, Geduld oder Fähigkeiten haben, um echte Experimente durchzuführen, solche Arbeiten aber benötigen, um ihr Renommee zu steigern, ihre Karrierechancen zu verbessern oder ihren persönlich Ehrgeiz zu befriedigen. Auch in den Redaktionen wissenschaftlicher Zeitschriften bis hin zur ersten Reihe der renommiertesten Publikationsorgane finden sich die Kunden, die sie treuherzig und naiv kaufen und veröffentlichen.
In den allermeisten Fällen durchlaufen die Fake-Papiere alle Kontrollschritte wie das Peer Review und werden schließlich in Zeitschriften abgedruckt oder auf die Website gestellt. Die mit diesen Papieren verbundenen Gefahren liegen damit auf der Hand. Durch sie sickern „Ergebnisse“ in die Wissenschaft ein, auf die andere Wissenschaftler unbesehen vertrauen und für ihre Arbeit nutzen. Das gleiche gilt für die Pharmaindustrie, die Gefahr läuft, aufgrund gefälschter Ergebnisse große Summen an Forschungs- und Entwicklungsgelder in den Sand zu setzen. Ärzte und Therapeuten können falschen Behandlungsmethoden und Therapien, zum Beispiel bei Krebserkrankungen, ansetzen, zum Schaden der Patientinnen und Patienten. Die Politik kann zu falschen Schlussfolgerungen und Entscheidungen bewegt werden. Die Fake-Papiere verbreiten sich wie ein Virus und verseuchen mehr und mehr das Weltwissen, zumal neue Papiere auch auf den schon existierenden Fakes aufbauen und so neue Fake-Ergebnisse verbreiten.
Die wichtigste und weitreichendste Folge aber ist ein allgemeiner Vertrauensverlust in die Integrität der Wissenschaft. Denn wenn die Gesellschaft, die Menschen, nicht mehr auf die Wissenschaft vertrauen können, gerät eine Grundsäule der freien Gesellschaften und der Demokratie ins Wanken. Natürlich machen auch Wissenschaftler Fehler und natürlich gab es schon immer korrupte Standesvertreter, die aus unterschiedlichen Gründen Ergebnisse fälschten und sie in Umlauf brachten. Wenn solche Skandale an die Öffentlichkeit kommen, ist die Empörung groß – zurecht. Aber dabei handelt es sich um Einzelfälle, nicht um Fälschungen im industriellen Maßstab, wie sie Papiermühlen unternehmen. Doch wenn wir nicht mehr wissen, welche Erkenntnisse echt und welche gefälscht sind, auf was wir uns verlassen können, erschüttert das das Vertrauen selbst gutmeinender Menschen in die Wissenschaft und eröffnet Verschwörungstheoretikern und Parteien und Organisationen, die Wissenschaft grundsätzlich ablehnen, Tür und Tor. Gerade in einer Zeit, in der Wissenschaft ohnedies unter Druck steht, ist das eine fatale Entwicklung.
Um sich die Dimensionen klar machen zu können, die das Problem der Fake-Mafia bereits angenommen hat, müssen wir zunächst kurz einen Blick auf die Entwicklung des wissenschaftlichen Publizierens der vergangenen Jahrzehnte werfen. Die Zahlen werden viele Leserinnen und Leser überraschen. Von 1996 bis 2022 wurden weltweit sage und schreibe rund 68 Millionen wissenschaftliche Artikel publiziert, der Ausstoß pro Jahr stieg von 1,1 Millionen (1996) auf rund fünf Millionen (2022). Von dieser Entwicklung profitieren vor allem die wissenschaftliche Verlage, die immer größere Umsätze und schöne Geschäfte machen. Angesichts solcher Zahlen stellt sich die Frage, ob aus der wahren Wissenschaft nicht eine Ware Wissenschaft geworden ist, die Umsatz und Gewinn steigert, für die aber Erkenntnisgewinn und damit der Nutzen für uns alle nicht mehr ausschlaggebend ist.
Ein Blick auf die Zahlen der Papiere, die sicher gefälscht sind oder zumindest unter dem begründeten schweren Verdacht stehen, zeigt die Dramatik. Um zumindest einen Annäherungswert zu berechnen, haben Professor Bernhard Sabel und sein Team an der Otto-von-Guericke-Universität Magdeburg in Zusammenarbeit mit dem Direktor des Harding-Zentrums für Risikoforschung an der Universität Potsdam, Gerd Gigerenzer, rund 16.200 Papiere zu biomedizinischen Themen nach einer Reihe von Kriterien untersucht, die im Jahr 2022 in PubMed und Web of Science gelistet waren. Angesichts der riesigen Zahl von Veröffentlichungen – fünf Millionen allein 2022! – konnte es sich dabei nur um eine, allerdings sehr fundierte, Stichprobe handeln. Das Ergebnis war niederschmetternd: 16,4 Prozent der untersuchten Texte stellten Fälschungen dar; in absoluten Zahlen: 245.000. Und da das Team sehr wahrscheinlich nicht allen Fakes auf die Spur gekommen war, dürfte die tatsächliche Zahl noch höher liegen.
Entstanden ist in diesem Zusammenhang ein Milliarden-Markt, denn weltweit existieren mindestens 1.000 Papiermühlen. Wenn sie jeden Text für 10.000 Euro verkaufen – eine konservative Schätzung –, dann setzten sie allein im untersuchten Jahr 2,4 Milliarden Euro allein mit Texten zu biomedizinischen Themen um. Angenommen, die anderen akademischen Disziplinen kommen auf eine vergleichbare Quote, und nichts spricht dagegen, dass es so ist, dann belief sich der Umsatz der Fake-Agenturen auf rund fünf Milliarden Euro in nur einem Jahr. Nimmt man ferner an, dass Wissenschaftsverlage durchschnittlich Publikationsgebühren in Höhe von 2000 Euro pro Arbeit kassieren, kommt man zusätzlich auf eine Milliarde Euro, so dass sich die gesamte Summe in nur einem Jahr auf sechs Milliarden Euro Umsatz mit Fake-Texten beläuft.
Wir sprachen nicht nur von einer weltweiten Bedrohung der Wissenschaft, sondern auch von einer weltweiten Fake-Mafia. Aber hat sie Schwerpunkte, Zentren? Um sich der Beantwortung dieser Frage zu nähern, werfen wir nochmals einen Blick auf die Entwicklung der Publikationszahlen, diesmal mit dem Fokus auf die einzelnen Länder. 1996 gab es eine Supermacht: die USA, die es alleine auf 352.246 Publikationen binnen eines Jahres brachte. Deutschland lag mit 76.034 auf einem ordentlichen vierten Platz. China kam auf Platz zehn mit rund 30.000 Veröffentlichungen, Indien auf Platz 13 mit 21.000 und Südkorea auf Platz 20 mit 10.000. 26 Jahre später hatte sich das Bild stark verändert. Nun lag China auf Platz 1 mit 1.012.264 Millionen, weit vor den USA mit 714.412; Deutschland kam auf 202.397. Während sich die Zahlen für die USA verdoppelt und für Deutschland etwa vervierfacht hatten konnte sich China um ein 32-faches Wachstum freuen. Wie konnte das sein? Konnte dieser statistische Leistungssprung mit rechten Mitteln erreicht worden sein? Selbst wenn man anerkennt, dass das Land sich in den vergangenen Jahrzehnten durch verschiedene Maßnahmen und Instrumente darum bemüht hat, auf dem Gebiet der Wissenschaft gegenüber den USA aufzuholen, so muss die Antwort ganz klar lauten: nein. Nach der schon erwähnten Studie stammten 42,3 Prozent aller 2020/23 weltweit publizierten Texte aus China. Da sich die Zahl seit Jahren kontinuierlich pro Jahr um rund 40.000 steigerte, liegt es auf der Hand, dass hier gezielt nachgeholfen wurde. Willkommen im Reich der Mitte, willkommen im Reich der Papiermühlen. Auf Platz zwei folgte mit Indien ein anderes aufstrebendes Land, das es auf einen Anteil von 33 Prozent brachte. Indien war wiederum das Land mit dem höchsten relativen Anteil an gefälschten Texten – 54,2 Prozent lautete die Quote. Also waren mehr als die Hälfte alle Papiere mit KI gefälschte Machwerke. In dieser „Hitliste“ folgte China auf Platz 2 (38,7 Prozent) vor Iran (29,6) und der Türkei (20,8).
Es dauerte lange, bis die Verlage von meist privaten Fake-Jägern auf das Phänomen aufmerksam gemacht wurden. Dann versuchten sie, das Problem einfach wegzudrücken, zumal sie als Transporteure der Fake-Texte ja auch beste Geschäfte damit machen. Und zugegeben ist es auch nicht so einfach, die immer besser werdenden Fakes zu enttarnen (in einem weiteren Blogbeitrag werden wir Tipps geben, welche Kriterien auf Fälschungen deuten können). Doch weil das Problem überhandnimmt und sich zu einer ernsten Bedrohung für die Integrität der Wissenschaft und für die Gesundheit der Weltbevölkerung entwickelt hat, fangen sie notgedrungen an, zögerlich zu handeln. Das kann zu schmerzhaften finanziellen Einbußen führen, wie das Beispiel des Hindawi-Verlags zeigt. Er musste bis Ende 2023 rund 8.000 Papiere zurückziehen, die erwiesene Fälschungen oder sark verdächtig waren, und eine Reihe von Zeitschriften komplett schließen. Die Aktionäre kostete das zwischen 35 und 40 Millionen Euro.¹ Aber die Schritte waren unvermeidlich.
Es steht zu befürchten, dass sich die Entwicklung in Zukunft weiter beschleunigen wird. Nichtstun ist angesichts des Ausmaßes der Bedrohung für die ehrliche Wissenschaft keine Option. Die Wissenschafts-Community selbst, die Politik und überhaupt die ganze Gesellschaft müssen aufwachen und sich der Bedrohung gezielt stellen. Denn sonst haben wir bald eine Wissenschaft, die ihre Integrität und eine Gesellschaft, die ihr Vertrauen in die Wissenschaft zu verlieren droht. Um unsere Freiheit zu behalten müssen wir dafür sorgen, dass wir uns um das Wertvollste – die Wahrhaftigkeit der Wissenschaft – keine Sorgen mehr machen müssen.
¹Retraction Watch 19.12.2023: Hindawi reveals process for retracting more than 8.000 paper mill articles; https://retractionwatch.com/2023/12/19/hindawi-reveals-process-for-retracting-more-than-8000-paper-mill-articles/
Prof. Dr. med.habil Bernhard A.Sabel war von 1992 bis 2023 Professor für Medizinische Psychologie an der Otto von Guericke-Universität . Armin Fuhrer ist Buchautor und freier Journalist. Im Oktober 2024 veröffentlichten sie das Buch „Fake-Mafia in der Wissenschaft. KI, Gier und Betrug in der Forschung“ (Verlag Kohlhammer, 224 Seiten, 24 Euro).