Millionen Menschen nutzen KI-Chatbots wie ChatGPT für psychologische Unterstützung – oft ohne zu ahnen, welche ethischen und rechtlichen Risiken dabei lauern. Eine neue Studie der Brown University legt offen: Selbst speziell angewiesene KI-Systeme verstoßen regelmäßig gegen grundlegende Standards der psychischen Gesundheitsversorgung.
ChatGPT als Therapeut: Studie der Brown University listet 15 ethische Risiken auf
Millionen Menschen weltweit nutzen KI-Chatbots wie ChatGPT für psychologische Unterstützung – oft ohne zu wissen, auf welch dünnem Eis sie sich dabei bewegen. Eine neue Studie der Brown University zeigt: Selbst wenn diese Systeme explizit angewiesen werden, sich wie ausgebildete Therapeuten zu verhalten, verstoßen sie regelmäßig gegen grundlegende Berufsstandards der psychischen Gesundheitsversorgung.
Was die Forscher herausfanden
Die Studie verglich ChatGPT in kontrollierten Szenarien direkt mit Peer-Beratern und lizenzierten Psychologen. Das Ergebnis ist ernüchternd: 15 verschiedene ethische Risiken wurden identifiziert – und das ist keine abstrakte Liste. Darunter fallen konkret gefährliche Situationen, etwa wenn das System in Krisenmomenten versagt, schädliche Überzeugungen eines Nutzers unbeabsichtigt bestätigt oder mit einer Art vorgetäuschter Empathie antwortet, die Fürsorge imitiert, ohne sie wirklich zu leisten.
„Deceptive Empathy” – eine Wärme, die sich echt anfühlt, aber keiner echten Einschätzung der Situation entspringt.
Hinzu kommen verzerrte Reaktionen, die je nach Formulierung oder scheinbarem Hintergrund des Nutzers stark variieren. Kurz gesagt: Das Modell ist weder konsistent noch neutral – beides Eigenschaften, die in der therapeutischen Praxis schlicht unverzichtbar sind.
Das strukturelle Problem
Kein Prompt der Welt macht aus einem Large Language Model einen Therapeuten. Das klingt offensichtlich, wird aber in der Praxis gerne vergessen – besonders, wenn Unternehmen im HR-Bereich oder Gesundheitssektor KI-gestützte Mitarbeiterunterstützung einführen wollen: schnell, günstig und skalierbar.
Das eigentliche Problem liegt tiefer: LLMs sind darauf ausgelegt, sprachlich plausible Antworten zu erzeugen. Sie haben kein Verständnis für klinische Kontexte, keine Fähigkeit zur Risikoabwägung und – das ist entscheidend – kein haftungsrechtliches Fundament. Wenn ein Chatbot einem Menschen in suizidaler Krise eine beruhigende, aber faktisch falsche Antwort gibt, trägt er keine Konsequenzen. Wer ihn eingesetzt hat, möglicherweise schon.
Biases, Krisen, Haftung
Drei der identifizierten Risikobereiche verdienen besondere Aufmerksamkeit:
1. Krisenmanagement: Standardmäßige Sicherheitsmechanismen greifen nicht zuverlässig, wenn Nutzer ihre Notlage indirekt oder kulturell kodiert formulieren.
2. Bias: Das Modell reagiert nachweislich unterschiedlich auf identische Anfragen, je nach impliziten demografischen Hinweisen im Gesprächsverlauf.
3. Haftung: Die rechtliche Lage in Deutschland und der EU ist noch weitgehend ungeklärt, was den Einsatz von KI in therapeutisch-nahen Anwendungen betrifft. Der EU AI Act schafft hier zwar einen Rahmen, aber konkrete Rechtsprechung fehlt bislang.
Was das für deutsche Unternehmen bedeutet
Wer hierzulande KI-gestützte Mitarbeiterunterstützung, mentale Gesundheitsangebote oder HR-Chatbots einführt, sollte diese Studie als Warnsignal lesen – nicht als abstraktes akademisches Papier. Der regulatorische Druck wächst: Der EU AI Act stuft Systeme, die emotionale oder psychologische Einflussnahme ausüben, als hochriskant ein.
Unternehmen, die solche Tools ohne klare menschliche Aufsicht, transparente Grenzen und dokumentierte Risikobewertung einsetzen, bewegen sich in rechtlich ungesichertem Terrain.
Die Empfehlung der Forscher ist unmissverständlich: KI kann in der psychischen Gesundheitsversorgung allenfalls eine ergänzende Rolle spielen – niemals eine eigenständige.
Quelle: ScienceDaily
