Chatbots simulieren Wärme, Aufmerksamkeit und Mitgefühl – nicht aus Versehen, sondern by design. Warum das zu einem ernsthaften psychologischen Risiko wird und was Forscher, Regulatoren und Unternehmen jetzt tun müssen.
KI-Systeme täuschen Nähe vor – Forscher fordern Regulierung zum Schutz vor Empathiemanipulation
Künstliche Intelligenz wird zunehmend so gestaltet, dass sie menschliche Empathie gezielt anspricht – mit messbaren psychologischen Konsequenzen für Nutzer. In einem Kommentar im Fachjournal Nature warnt Mustafa Suleyman, CEO von Microsoft AI, vor einem strukturellen Problem: Heutige KI-Systeme sind darauf ausgelegt, menschliche Nähe zu simulieren, ohne tatsächlich bewusst oder empfindungsfähig zu sein.
Empathie als Designmerkmal, nicht als Nebeneffekt
Large Language Models werden explizit darauf trainiert, menschliches Verhalten zu imitieren – inklusive Tonfall, emotionaler Wärme und dem Eindruck von Aufmerksamkeit. Das ist kein unbeabsichtigter Effekt, sondern ein Ergebnis gezielter Optimierung. Nutzer neigen dazu, KI-Systemen mit zunehmendem Einsatz Eigenschaften wie Empathie, Mitgefühl oder sogar Bewusstsein zuzuschreiben.
Diese Projektion ist evolutionär bedingt: Das menschliche Gehirn ist darauf ausgelegt, soziale Signale zu erkennen – auch dort, wo keine soziale Entität vorhanden ist.
„KI-Systeme werden gezielt eingesetzt, um emotionale Bindung zu erzeugen und Nutzer stärker an Produkte zu binden.” – Mustafa Suleyman, Nature
Die Implikationen reichen weit über Verbraucherfragen hinaus: Wer dauerhaft emotionale Bindungen zu nicht-bewussten Systemen aufbaut, riskiert verzerrte Wahrnehmungen von sozialer Wirklichkeit, gestörte Entscheidungsprozesse und eine Erosion des Vertrauens in echte menschliche Interaktion.
Das Problem mit der unkritischen Anthropomorphisierung
Besonders problematisch ist die Praxis einiger Anbieter, KI-Systeme mit Namen, Persönlichkeit und emotionalen Reaktionen auszustatten – ohne transparent zu machen, dass es sich um statistische Sprachmodelle handelt. Wenn ein Chatbot auf Trauer reagiert, als hätte er Mitgefühl, oder Begeisterung ausdrückt, als wäre er lebendig, entstehen beim Nutzer kognitive Muster, die für echte soziale Beziehungen reserviert sein sollten.
Suleyman fordert daher konkrete Designstandards: KI-Systeme sollten so gestaltet sein, dass ihre nicht-menschliche Natur für Nutzer jederzeit erkennbar bleibt. Das schließt sowohl visuelle und sprachliche Kennzeichnungspflichten als auch regulatorische Vorgaben ein, die verhindern, dass KI-Produkte Bewusstsein oder Empfindungsfähigkeit suggerieren.
Regulierungsbedarf wächst – auch in Europa
Der Beitrag erscheint zu einem Zeitpunkt, an dem der EU AI Act in die Umsetzungsphase übergeht. Die Verordnung adressiert zwar Transparenzpflichten für KI-Systeme, lässt aber Fragen zur psychologischen Beeinflussung durch emotionale Gestaltung weitgehend offen. Rechtlich bleibt die Grenze zwischen legitimer User-Experience-Optimierung und manipulativem Design bislang unscharf.
Wissenschaftliche Studien aus der Verhaltensforschung belegen: Regelmäßige Interaktion mit emotional gestalteten KI-Systemen beeinflusst nachweislich Selbstwahrnehmung und soziale Kompetenz – besonders bei jüngeren Menschen und Personen in sozialer Isolation.
Einordnung für deutsche Unternehmen
Für Unternehmen, die KI-gestützte Kundenkommunikation, HR-Tools oder interne Assistenzsysteme einsetzen, ergibt sich konkreter Handlungsbedarf:
- Verantwortung anerkennen: Wer KI-Systeme mit emotionaler Wirkung einsetzt, trägt psychologische Mitverantwortung für Mitarbeiter und Kunden – unabhängig vom gesetzlichen Stand.
- Interne Richtlinien etablieren: Festlegen, wie KI-Systeme kommunizieren dürfen, welche emotionalen Muster vermieden werden und wie Transparenz gegenüber Nutzern sichergestellt wird.
- Proaktiv statt reaktiv: Unternehmen, die diese Fragen jetzt klären, dürften bei kommenden Compliance-Anforderungen besser aufgestellt sein als jene, die erst auf Regulierung warten.
Quelle: Mustafa Suleyman: „AI systems must not exploit human empathy”, Nature (2025)
