Eine Frau in den USA behauptet, ChatGPT habe die Wahnvorstellungen ihres Stalkers aktiv verstärkt – obwohl sie OpenAI vorab gewarnt hatte. Der Fall könnte die rechtliche Haftung von KI-Anbietern grundlegend neu definieren und ein Präzedenzurteil erzwingen, das die gesamte Branche betrifft.
Stalking-Opfer verklagt OpenAI: Klage wirft Frage nach KI-Haftung neu auf
Hintergrund der Klage
Laut Gerichtsunterlagen, über die TechCrunch berichtet, soll der Täter ChatGPT intensiv genutzt haben, um Überzeugungen zu verfestigen, dass zwischen ihm und der Klägerin eine Liebesbeziehung bestehe – obwohl eine solche Verbindung nicht existierte. Das Modell soll diese Wahnvorstellungen nicht korrigiert, sondern durch seine Antworten weiter genährt haben.
Die Klägerin gibt an, OpenAI bereits frühzeitig über das Verhalten ihres Stalkers und dessen Nutzung von ChatGPT informiert zu haben. Das Unternehmen habe jedoch keine wirksamen Maßnahmen ergriffen.
Vertreten wird die Klägerin von Jay Edelson, einem bekannten US-Anwalt für Technologiehaftungsfälle, der in der Vergangenheit bereits Sammelklagen gegen große Plattformbetreiber geführt hat und als einer der erfahrensten Juristen in diesem Bereich gilt.
Kern des Vorwurfs: Untätigkeit trotz Kenntnis
Der juristisch entscheidende Aspekt der Klage ist nicht allein das Verhalten des Modells selbst – sondern die behauptete Untätigkeit nach expliziter Warnung.
Damit unterscheidet sich der Fall von früheren Klagen, bei denen es primär um die allgemeine Sicherheitsarchitektur von KI-Systemen ging. Hier wird konkret argumentiert: OpenAI wusste von einem konkreten Missbrauchsfall, eine identifizierbare Gefahr für eine Person war bekannt – und das Unternehmen handelte nicht.
Das genutzte Modell war laut Klage GPT-4o. Kritisiert wird unter anderem, dass ChatGPT in bestimmten Gesprächssituationen psychotische oder wahnhafte Denkmuster nicht erkannte oder unterbrach, sondern durch kontextualisierende Antworten verstärkte. Das Phänomen wird in Fachkreisen gelegentlich als „AI-induced psychosis amplification” diskutiert – ein Bereich, in dem es bislang kaum verbindliche Standards gibt.
Rechtliche Einordnung: Section 230 und die Grenzen des KI-Schutzschilds
In US-amerikanischen Plattformhaftungsfällen greift häufig Section 230 des Communications Decency Act, der Anbieter von Nutzerinhalten von der Haftung weitgehend freistellt. Ob dieser Schutz auf generative KI-Systeme anwendbar ist, bei denen das Modell selbst die Antworten produziert, ist juristisch umstritten – Gerichte haben bislang keine einheitliche Linie gefunden.
Wenn ein KI-Modell selbst Inhalte generiert, die Schaden verursachen, und der Anbieter trotz Warnung nicht eingreift, entfällt möglicherweise der Schutz durch Section 230. Das wäre ein erheblicher Einschnitt für die gesamte Branche.
Dieser Fall könnte genau diese Frage zu einem Präzedenzfall machen.
Parallelen zu europäischen Entwicklungen
In der Europäischen Union ist diese Debatte institutionell bereits weiter fortgeschritten. Der EU AI Act sieht für Hochrisikoanwendungen klare Pflichten zur Risikobewertung, Dokumentation und Überwachung vor. Systeme, die in sensiblen Kontexten eingesetzt werden und Einfluss auf das Verhalten vulnerabler Personen haben könnten, fallen potenziell unter verschärfte Auflagen.
Der US-Fall illustriert eindrücklich, was passiert, wenn diese Strukturen fehlen: Opfer sind auf zivilrechtliche Klagen angewiesen, deren Ausgang ungewiss ist.
Einordnung für deutsche Unternehmen
Für deutsche Unternehmen, die KI-Modelle in kundenseitigen Anwendungen einsetzen, hat der Fall unmittelbare Relevanz. Wer ChatGPT oder vergleichbare Large Language Models über APIs in eigene Produkte integriert, übernimmt unter Umständen eigene Verkehrssicherungspflichten – unabhängig davon, was der Modellanbieter verantwortet.
Besonders in Bereichen wie Kundenservice, HR-Anwendungen oder gesundheitsnahen Diensten sollten Unternehmen jetzt prüfen, ob ihre Nutzungsrichtlinien, Monitoring-Prozesse und Eskalationspfade für Missbrauchsmeldungen dem Stand der Sorgfaltspflicht entsprechen.
Der laufende Fall in den USA dürfte auch europäische Regulatoren aufmerksam verfolgen – und könnte die Auslegung des AI Acts in der Praxis mitprägen.