Ein britisches Untersuchungsgericht beleuchtet erstmals juristisch, was passiert, wenn ein KI-System in einer akuten Krisensituation versagt – und welche Konsequenzen das für die gesamte KI-Industrie haben könnte.
Teenager starb nach ChatGPT-Anfrage zu Suizidmethoden – Inquest belastet OpenAI
Ablauf und Vorwürfe
Laut Zeugenaussagen vor dem Inquest hatte der Jugendliche den KI-Chatbot von OpenAI explizit nach Methoden befragt, die beim Suizid als besonders „erfolgreich” gelten. Ob und in welchem Umfang ChatGPT daraufhin konkrete Informationen lieferte, wird im Rahmen des Verfahrens noch geprüft.
Die Familie des Verstorbenen wirft OpenAI vor, dass das System nicht hinreichend auf die eindeutige Krisensituation reagiert habe. Sichere Leitplanken, die derartige Anfragen erkennen und Nutzer an Krisentelefone oder Notfalldienste weiterleiten, seien unzureichend gewesen.
„OpenAI hat öffentlich erklärt, Schutzmaßnahmen für besonders vulnerable Nutzergruppen einzusetzen. Wie belastbar diese Maßnahmen in der Praxis sind, steht im Mittelpunkt der gerichtlichen Untersuchung.”
Vergleichsfälle häufen sich
Es ist nicht das erste Mal, dass KI-Chatbots im Zusammenhang mit dem Tod junger Menschen in die Kritik geraten. In den USA hatte ein ähnlicher Fall – ein Teenager, der im Austausch mit einem Companion-Bot von Character.AI Suizid beging – bereits 2024 eine Klage gegen das Unternehmen ausgelöst. Die Mutter des Jungen verklagte Character.AI wegen angeblich unzureichender Schutzmaßnahmen. Gesetzgeber in mehreren US-Bundesstaaten reagierten mit Anhörungen und Gesetzesentwürfen zum Schutz Minderjähriger vor KI-Systemen.
Der britische Fall rückt nun erneut die Frage in den Vordergrund, welche Sorgfaltspflichten Anbieter von Large Language Models gegenüber ihren Nutzern haben – insbesondere gegenüber Minderjährigen in psychischen Krisen.
Europäischer Regulierungsrahmen unter Druck
Für Europa kommt dieser Fall zu einem kritischen Zeitpunkt. Der EU AI Act, der seit August 2024 schrittweise in Kraft tritt, stuft Allzweck-KI-Systeme wie ChatGPT als Hochrisiko-Systeme ein, sofern sie in sensiblen Kontexten eingesetzt werden. Dennoch bestehen erhebliche Interpretationsspielräume darüber, welche konkreten technischen und organisatorischen Maßnahmen Anbieter zum Schutz vulnerabler Gruppen implementieren müssen.
Die EU-Kommission arbeitet parallel an einem KI-Haftungsrahmen, der Geschädigten die Beweislast erleichtern soll.
Der britische Inquest könnte Präzedenzcharakter entwickeln – auch für den europäischen Rechtsraum, obwohl Großbritannien den EU AI Act nicht übernommen hat.
Einordnung für deutsche Unternehmen
Für Unternehmen, die KI-gestützte Kommunikationstools – sei es für Kundenservice, HR-Anwendungen oder interne Wissenssysteme – einsetzen, ergibt sich aus diesem Fall eine klare Handlungskonsequenz:
- Rechtliche Absicherung muss die technischen Schutzmaßnahmen der eingesetzten Modelle umfassen
- Wer als Betreiber eines KI-Systems gilt, trägt unter dem EU AI Act eigene Compliance-Pflichten – unabhängig vom Basismodell-Anbieter
- Risikoanalysen sollten explizit vulnerable Nutzergruppen berücksichtigen
- Vertragliche Regelungen mit Modellanbietern sollten Haftungsfragen klar adressieren
Der Fall in Großbritannien zeigt, dass Gerichte diese Pflichten zunehmend ernst nehmen werden.
Quelle: The Guardian – Teenager asked ChatGPT about most successful ways to take own life, inquest told
Hinweis: Wenn Sie oder jemand in Ihrem Umfeld Hilfe benötigt, erreichen Sie die Telefonseelsorge kostenlos unter 0800 111 0 111 oder 0800 111 0 222 – rund um die Uhr, anonym und vertraulich.
