Zehntausende wissenschaftliche Publikationen könnten ungültige, von KI-Systemen halluzinierte Literaturverweise enthalten – mit weitreichenden Folgen für die Integrität der Forschung weltweit. Eine neue Analyse des Fachmagazins Nature macht das strukturelle Ausmaß des Problems erstmals sichtbar.
Halluzinierte Zitate: Wie KI-generierte Phantomquellen die Wissenschaft belasten
Das Problem: Quellen, die nicht existieren
Wenn Large Language Models wissenschaftliche Texte unterstützen oder verfassen, neigen sie dazu, Quellenangaben zu produzieren, die oberflächlich plausibel erscheinen – jedoch schlicht nicht existieren. Autornamen, Zeitschriftentitel, Erscheinungsjahre: alles wirkt korrekt formatiert, doch die zitierten Arbeiten sind Phantome. Dieses Phänomen, in der Fachsprache als „Halluzination” bezeichnet, ist seit Längerem bekannt.
Was die Nature-Analyse nun deutlich macht, ist die schiere Reichweite: Das Problem hat eine Größenordnung erreicht, die die Integrität wissenschaftlicher Datenbanken systematisch gefährdet.
Die Konsequenzen sind nicht abstrakt. Andere Forschende, die auf diese Publikationen aufbauen, verfolgen Quellenangaben, die ins Leere führen. Peer-Reviewer, die unter Zeitdruck arbeiten, können nicht jede einzelne Referenz manuell verifizieren. Und einmal publiziert, werden fehlerhafte Zitate in Literaturdatenbanken wie PubMed, Scopus oder Web of Science indexiert – wo sie wiederum als vermeintlich valide Ausgangspunkte für weitere Recherchen dienen.
Strukturelle Schwächen im Begutachtungsprozess
Das eigentliche Problem liegt nicht allein bei den Autoren, die KI-Werkzeuge einsetzen. Es liegt auch in der Infrastruktur des wissenschaftlichen Publizierens selbst. Viele Zeitschriften verfügen über keine automatisierten Systeme zur Validierung von Literaturverweisen. Manuelle Prüfung im Peer-Review-Verfahren deckt inhaltliche Schwächen ab – aber keine falsch formatierten oder erfundenen DOIs.
Der steigende Publikationsdruck verstärkt das Risiko zusätzlich: Je mehr Einreichungen bearbeitet werden müssen, desto weniger Zeit bleibt für die Detailprüfung einzelner Referenzlisten. Hinzu kommt, dass viele Journale keine verbindlichen Regeln zur Offenlegung von KI-Nutzung im Schreibprozess durchsetzen. Transparenzpflichten existieren zwar bei führenden Verlagen, ihre Einhaltung ist jedoch schwer kontrollierbar.
Technische Gegenmaßnahmen und ihre Grenzen
Als mögliche Lösung diskutiert die wissenschaftliche Gemeinschaft den verstärkten Einsatz automatischer Referenzprüfungen – Systeme, die Zitate gegen bestehende Datenbanken abgleichen und ungültige Einträge vor der Publikation markieren. Einige Verlage erproben solche Workflows bereits.
Doch auch hier gilt: Datenbanken sind unvollständig, ältere Literatur ist nicht immer digital erfasst, und ein negativer Treffer bedeutet nicht zwangsläufig, dass eine Quelle nicht existiert.
Mittel- bis langfristig diskutieren Experten strukturierte Metadatenstandards, die eine maschinelle Verifikation von Literaturangaben erleichtern. Zudem werden KI-Anbieter zunehmend aufgefordert, Halluzinationsraten bei Zitieraufgaben transparent zu machen und spezialisierte Modelle mit besserer Quellenverankerung bereitzustellen.
Einordnung für Unternehmen im deutschsprachigen Raum
Für deutsche Unternehmen, die KI-Werkzeuge in Forschungs-, Compliance- oder Wissensmanagementprozessen einsetzen, hat dieser Befund direkte Relevanz. Wer Large Language Models zur Literaturauswertung, Marktforschung oder zur Erstellung von Fachberichten nutzt, sollte Quellenangaben grundsätzlich manuell verifizieren – unabhängig davon, wie überzeugend sie wirken.
Interne Richtlinien zum KI-Einsatz sollten explizit Verifikationsschritte für referenzierte Inhalte vorschreiben.
Der Nature-Befund unterstreicht: Vertrauen in KI-Output ohne systematische Qualitätssicherung ist ein strukturelles Risiko – in der Wissenschaft ebenso wie im Unternehmensumfeld.
Quelle: Nature – AI-generated citations
