Eine prominente Wall-Street-Kanzlei hat mit KI-generierten Phantomzitaten in einem Gerichtsschriftsatz für Aufsehen gesorgt – und zeigt damit, dass das Problem der KI-Halluzinationen auch in den obersten Etagen der US-Rechtswelt angekommen ist.
KI-Halluzinationen in Gerichtsschriftsätzen: Prominente Wall-Street-Kanzlei unter Beschuss
Eine namhafte Wall-Street-Anwaltskanzlei hat in einem Gerichtsschriftsatz nachweislich falsche, von KI generierte Quellenangaben verwendet. Der Vorfall reiht sich in eine wachsende Zahl ähnlicher Fälle ein und wirft grundsätzliche Fragen über den unkontrollierten Einsatz von Large Language Models in juristischen Hochrisikobereichen auf.
Erfundene Zitate, reale Konsequenzen
Wie der Guardian berichtet, wurden in dem Schriftsatz mehrere Gerichtsurteile zitiert, die bei näherer Prüfung entweder nicht existieren oder falsch wiedergegeben wurden – ein klassisches Beispiel für sogenannte KI-Halluzinationen.
Large Language Models neigen dazu, bei der Textgenerierung plausibel klingende, aber faktisch unzutreffende Informationen zu produzieren – besonders bei spezifischen Fakten wie Aktenkennzeichen, Urteilsdaten oder Richternamen.
Der Fall ist insofern bemerkenswert, als es sich nicht um eine kleine Boutique-Kanzlei handelt, sondern um ein Haus mit erheblichem Profil im US-amerikanischen Finanz- und Wirtschaftsrecht. Das signalisiert, dass das Problem auch bei Kanzleien mit eigentlich ausreichenden Ressourcen für interne Qualitätskontrolle auftritt.
Kein Einzelfall – aber ein deutliches Warnsignal
Bereits 2023 sorgte ein ähnlicher Vorfall für Aufsehen, als ein New Yorker Anwalt nicht existierende Urteile – generiert von ChatGPT – in einem Bundesgericht zitierte und dafür vom Gericht sanktioniert wurde. Seitdem haben mehrere US-Bundesgerichte explizite Richtlinien zum KI-Einsatz bei Schriftsätzen eingeführt, die Anwälte zur Offenlegung und Verifikation verpflichten.
Dass derartige Fehler dennoch weiterhin auftreten, deutet auf ein strukturelles Problem hin: Der Zeitdruck in großen Kanzleien, kombiniert mit wachsendem internem Druck zur Effizienzsteigerung durch KI, verleitet dazu, die Verifikation von KI-Ausgaben zu überspringen oder als selbstverständlich vorauszusetzen.
Vertrauen als Kernproblem
Das eigentliche Risiko liegt weniger im Werkzeug selbst als in einem falschen Vertrauen in dessen Ausgaben.
Large Language Models sind statistisch optimierte Textgeneratoren – keine Rechtsdatenbanken. Sie können rechtliche Argumentationslinien strukturieren, Entwürfe erstellen oder Texte zusammenfassen. Zuverlässige juristische Recherche können sie jedoch nicht ersetzen.
Die Unterscheidung zwischen diesen Anwendungsfällen ist in der Praxis offenbar nicht immer präsent. Rechtsexperten und Gerichte weltweit fordern deshalb verbindliche interne Workflows, die KI-generierte Inhalte grundsätzlich einer manuellen Verifikation unterziehen, bevor sie in offizielle Dokumente einfließen. Einige Kanzleien setzen inzwischen auf spezialisierte Legal-Tech-Lösungen mit integrierter Zitierkontrolle gegen juristische Datenbanken wie Westlaw oder LexisNexis.
Einordnung für deutsche Unternehmen und Kanzleien
Für deutsche Anwaltskanzleien, Rechtsabteilungen und Unternehmen, die KI-gestützte Dokumentenerstellung einsetzen, ist dieser Fall ein deutliches Signal zur Überprüfung interner Freigabeprozesse.
Während das anwaltliche Berufsrecht in Deutschland ohnehin strenge Sorgfaltspflichten vorschreibt, fehlen bislang explizite Standesregeln zum KI-Einsatz bei Schriftsätzen. Die Bundesrechtsanwaltskammer hat das Thema auf der Agenda – verbindliche Leitlinien stehen jedoch noch aus.
Unternehmen, die externe Kanzleien mit KI-Unterstützung beauftragen, sollten aktiv nach deren Verifikationsprozessen fragen – bevor ein ähnlicher Fall vor einem deutschen Gericht für Aufsehen sorgt.
Quelle: The Guardian – AI hallucinations found in high-profile Wall Street law firm filing