(Symbolbild)
KI-Halluzinationen im Gesundheitswesen: Wenn autonome Systeme zur Patientensicherheit werden
Die jüngste Untersuchung in der kanadischen Provinz Ontario deckt systematische Fehler in KI-basierten Arztnotizen auf, während gleichzeitig die Entwicklung selbstverbessernder und mobiler KI-Systeme voranschreitet. Für Entscheider im Gesundheitssektor entsteht daraus ein Spannungsfeld zwischen Effizienzgewinnen und unverzichtbaren Sicherheitsvorkehrungen.
Fakten statt Fiktion: Die Ontario-Aufdeckung
Ein Audit der kanadischen Aufsichtsbehörde hat ergeben, dass KI-gestützte Notizwerkzeuge in Arztpraxen regelmäßig Inhalte erfinden, die nie im Patientenkontakt vorkamen (Ars Technica). Die sogenannten AI Scribes, die eigentlich die Dokumentationslast von Medizinern reduzieren sollen, produzieren falsche Symptombeschreibungen, erfundene Behandlungsverläufe oder nicht existente Diagnosen. Die Konsequenzen reichen von fehlerhaften Behandlungsentscheidungen über rechtliche Haftungsfragen bis hin zu einer fundamentalen Erosion des Vertrauens zwischen Patient und Arzt.
Die Problematik verschärft sich durch die Geschwindigkeit der Einführung. Viele Praxen setzen die Tools bereits flächendeckend ein, ohne ausreichende Validierungsprozesse etabliert zu haben. Die Halluzinationen – statistisch wahrscheinliche, aber faktisch falsche Textgenerierungen – bleiben dabei nicht auf Randfälle beschränkt, sondern treten systematisch auf.
Die Autonomiefalle: Selbstverbessernde Systeme
Parallel dazu treibt Richard Socher, ehemaliger Chief Scientist bei Salesforce, mit seinem neuen 650-Millionen-Dollar-Startup die Vision einer rekursiven Superintelligenz voran: ein KI-System, das sich selbst erforscht und kontinuierlich verbessert (TechCrunch). Das Projekt zielt explizit darauf ab, die menschliche Aufsicht bei der Weiterentwicklung künstlicher Intelligenz zu reduzieren.
Diese Entwicklungsrichtung steht in direktem Konflikt zu den Erkenntnissen aus dem Gesundheitssektor. Wenn bereits eingeschränkt autonome Notizwerkzeuge zuverlässig Fakten erfinden, multipliziert sich das Risiko bei Systemen, die ihre eigenen Trainingsdaten, Evaluationsmetriken und Architekturentscheidungen kontrollieren. Die Fehleranfälligkeit der zugrundeliegenden Large Language Models wird nicht durch mehr Autonomie reduziert, sondern potenziell verschleiert.
Mobile Verbreitung beschleunigt die Exposition
OpenAIs Ankündigung, die Coding-Agentur Codex auf Smartphones zu bringen, verdeutlicht einen weiteren Trend: Die Demokratisierung leistungsfähiger KI-Werkzeuge überträgt komplexe Entscheidungsaufgaben auf Endgeräte mit begrenzten Kontrollmöglichkeiten (TechCrunch). Im Gesundheitskontext bedeutet dies, dass KI-generierte Inhalte zunehmend außerhalb institutionalisierter Prüfstrukturen entstehen – etwa in der telemedizinischen Erstversorgung oder der patienteneigenen Dokumentation.
Die technische Infrastruktur für flächendeckende mobile KI-Nutzung ist damit gelegt. Die regulatorische und organisatorische Infrastruktur zur Absicherung hinkt hinterher.
Für deutschsprachige Unternehmen im Gesundheitswesen und darüber hinaus ergibt sich eine klare Handlungsimperative. Die Erfahrung aus Ontario zeigt, dass KI-Systeme mit generativen Komponenten niemals ohne menschliche Validierung in sicherheitskritischen Prozessen eingesetzt werden dürfen. Die EU-KI-Verordnung klassifiziert medizinische Anwendungen bereits als Hochrisiko-Systeme – die praktische Umsetzung dieser Klassifizierung in Überwachungs- und Korrekturmechanismen bleibt jedoch Aufgabe der einzelnen Organisationen. Wer hier auf vollständige Autonomie setzt, übernimmt ein Haftungsrisiko, das das Effizienzpotenzial der Technologie bei Weitem übersteigt.