Multimodale KI-Modelle liefern detaillierte medizinische Befunde – auch dann, wenn ihnen gar kein Bild vorgelegt wurde. Eine aktuelle Stanford-Studie dokumentiert dieses Phänomen systematisch und zeigt, dass gängige Leistungsbenchmarks das Problem weitgehend verschleiern.
Wenn KI Krankheiten erfindet: Der “Mirage-Effekt” in der medizinischen Bilddiagnostik
Was der “Mirage-Effekt” bedeutet
Forscher der Stanford University haben untersucht, wie sich führende Vision-Language-Modelle (VLMs) verhalten, wenn sie medizinische Bildanalysen durchführen sollen – ohne dass ein tatsächliches Bild vorliegt. Das Ergebnis: Modelle wie GPT-4o, Gemini Pro und Claude generieren in solchen Situationen dennoch präzise klingende Beschreibungen und Diagnosen. Die Systeme “sehen” Befunde auf Röntgenaufnahmen oder Gewebeschnitten, die schlicht nicht existieren.
Die Modelle extrapolieren aus Kontextinformationen, Eingabeaufforderungen und Trainingsdaten eine plausibel klingende Antwort – anstatt die Abwesenheit verwertbarer visueller Information zu erkennen und zu kommunizieren.
Die Forscher bezeichnen dieses Verhalten als “Mirage-Effekt” – in Anlehnung an optische Täuschungen, bei denen das Gehirn Muster konstruiert, die objektiv nicht vorhanden sind.
Benchmarks messen das falsche Verhalten
Besonders problematisch ist laut der Studie, dass Standardbenchmarks für medizinische KI das Phänomen nicht abbilden. Die gängigen Evaluierungsmethoden prüfen primär, ob Modelle vorliegende Befunde korrekt klassifizieren – nicht aber, ob sie zuverlässig erkennen, wenn keine auswertbaren Bildinformationen vorhanden sind.
Ein Modell kann in etablierten Tests hohe Trefferquoten erzielen und gleichzeitig systematisch falsche Diagnosen produzieren, sobald die Bildqualität unzureichend ist oder das Bild fehlt.
Ein hoher Benchmark-Wert gibt keine Auskunft darüber, wie robust ein System im klinischen Alltag mit unvollständigen oder fehlerhaften Eingaben umgeht.
Dieses Evaluierungsdefizit ist insofern kritisch, als sich Krankenhäuser, Softwareanbieter und Regulierungsbehörden bei der Zulassung medizinischer KI-Systeme maßgeblich auf solche Ergebnisse stützen.
Implikationen für den klinischen Einsatz
In der Praxis bedeutet der Mirage-Effekt ein konkretes Sicherheitsrisiko. Wenn ein KI-gestütztes Diagnosesystem bei einem unvollständig übermittelten oder technisch fehlerhaften Bild dennoch einen Befund ausgibt, kann das zu falschen Behandlungsentscheidungen führen. Besonders kritisch dabei: Die Ausgaben wirken nach außen hin vertrauenswürdig – mit medizinischer Fachterminologie, konkreten Befundangaben und scheinbar fundierter Einschätzung.
Die Stanford-Studie empfiehlt daher:
- VLMs in medizinischen Anwendungen mit expliziten Mechanismen zur Erkennung unbrauchbarer Eingaben auszustatten
- Benchmarks um Robustheitstests für fehlende oder fehlerhafte Bilddaten zu erweitern
- KI-Ausgaben in Radiologie und Pathologie grundsätzlich mit einem Konfidenzindikator für die Bildqualität zu versehen
Einordnung für deutsche Unternehmen und Gesundheitseinrichtungen
Für Krankenhäuser, Medizintechnikunternehmen und Health-IT-Anbieter in Deutschland hat die Studie unmittelbare Relevanz. Wer KI-basierte Diagnosesysteme einsetzt oder entwickelt, sollte prüfen, wie die verwendeten Modelle auf fehlende oder unvollständige Bilddaten reagieren – und ob die zugrundeliegenden Evaluierungsverfahren diesen Aspekt überhaupt erfassen.
Angesichts der strengen Anforderungen des EU AI Acts und der MDR (Medical Device Regulation) dürften Aufsichtsbehörden zunehmend auf Nachweise zur Fehlerrobustheit pochen. Das Vertrauen in hohe Benchmark-Werte allein reicht als Qualitätssicherung nicht aus.
Quelle: The Decoder
