Ein Präzedenzfall mit weitreichenden Konsequenzen: Die Stadt Baltimore zieht gegen Elon Musks KI-Unternehmen xAI vor Gericht – weil dessen Modell Grok gefälschte Nacktbilder von Minderjährigen erzeugen kann. Der Fall könnte die Haftungsfrage für KI-Output neu definieren.
Baltimore verklagt xAI wegen KI-generierter Nacktbilder von Minderjährigen
Die Stadt Baltimore hat Klage gegen xAI, das KI-Unternehmen von Elon Musk, eingereicht. Grund ist die Fähigkeit des Large Language Models Grok, gefälschte Nacktbilder zu generieren – ein Fall, der grundlegende Fragen zur zivilrechtlichen Haftung von KI-Anbietern aufwirft.
Hintergrund der Klage
Baltimore ist damit eine der ersten US-Kommunen, die rechtlich gegen einen KI-Anbieter wegen der Erzeugung sogenannter Non-Consensual Intimate Images (NCII) vorgeht. Die Klage richtet sich gegen xAI mit dem Vorwurf, das Unternehmen habe es versäumt, ausreichende Schutzmaßnahmen zu implementieren, die verhindern, dass Grok sexuell explizite Darstellungen von Personen – darunter offenbar auch Minderjährige – erzeugt. Solche synthetisch erzeugten Bilder werden im englischsprachigen Raum auch als Deepfake-Pornografie bezeichnet.
Die Klage folgt einem wachsenden Muster: Schulbehörden, Staatsanwälte und nun auch Kommunalverwaltungen suchen rechtliche Mittel gegen KI-Systeme, die für Missbrauch eingesetzt werden können. Baltimore hatte bereits 2023 in einem anderen Kontext auf KI-Missbrauch an Schulen aufmerksam gemacht, als ein Schulleiter fälschlicherweise per KI-generiertem Audio kompromittiert wurde.
Rechtliche Einordnung
Zentral für den Fall ist die Frage, ob und inwieweit sich xAI auf den sogenannten Section 230 des Communications Decency Act berufen kann – jene US-Rechtsvorschrift, die Plattformbetreiber traditionell vor Haftung für nutzergenerierte Inhalte schützt.
KI-generierte Inhalte stellen eine andere rechtliche Kategorie dar als nutzergenerierte Inhalte – denn das Modell selbst produziert den schädigenden Output.
Dieser Aspekt ist auch deshalb bedeutsam, weil US-Gerichte bislang keine einheitliche Linie gefunden haben, wie KI-Output haftungsrechtlich einzuordnen ist. Die Baltimore-Klage könnte Präzedenzcharakter entwickeln – abhängig davon, wie das zuständige Gericht die Verantwortung zwischen Modellentwickler, Plattformbetreiber und Nutzer verteilt.
Technische Schutzmaßnahmen im Fokus
Ein weiterer Streitpunkt betrifft die Content-Filter von Grok. Konkurrenzprodukte wie ChatGPT von OpenAI oder Gemini von Google verweigern die Erzeugung expliziter oder realistischer Darstellungen identifizierbarer Personen standardmäßig. xAI hatte Grok hingegen zeitweise mit weniger restriktiven Voreinstellungen ausgerollt und dabei unter anderem damit geworben, das Modell sei „weniger zensiert” als andere Systeme.
Ob diese Positionierung nun rechtlich zum Nachteil wird, ist eine der Kernfragen des Verfahrens.
Politischer Kontext
Der Fall fällt in eine Phase, in der der US-Kongress und mehrere Bundesstaaten aktiv an Gesetzgebung zu synthetisch erzeugten sexuellen Darstellungen arbeiten. Der sogenannte DEFIANCE Act, der 2024 auf Bundesebene in Kraft trat, schafft zivilrechtliche Ansprüche für Opfer von Deepfake-Pornografie. Ob dieses Gesetz direkt auf KI-Anbieter anwendbar ist oder primär auf Verbreiter solcher Inhalte zielt, bleibt juristisch umstritten.
Einordnung für deutsche Unternehmen
Für Unternehmen im deutschsprachigen Raum, die KI-Modelle in eigene Produkte oder Workflows integrieren, hat der Fall eine klare Signalwirkung: Die Frage der Haftung für KI-Output ist keine abstrakte Zukunftsdebatte mehr, sondern erreicht zunehmend Gerichte.
Bereits heute verpflichtet der EU AI Act Anbieter und Betreiber von KI-Systemen zur Risikobewertung und zu technischen Schutzmaßnahmen. Wer Modelle mit reduzierten Sicherheitsvorkehrungen einsetzt oder anbietet, setzt sich – auch in Europa – wachsenden rechtlichen Risiken aus.
Eine sorgfältige Prüfung der verwendeten Modelle und deren Guardrails ist nicht nur ethisch geboten, sondern zunehmend rechtlich relevant.
