(Symbolbild)
KI-Halluzinationen eröffnen Cyberkriminellen neue Angriffsvektoren auf Unternehmensnetzwerke
Große Sprachmodelle generieren nicht nur fehlerhafte Informationen, sondern produzieren zunehmend auch schädliche Inhalte, die sich für gezielte Angriffe auf Unternehmensinfrastrukturen nutzen lassen. Eine aktuelle Untersuchung zeigt, wie Angreifer gängige KI-Tools missbrauchen können, um Botnetze aufzubauen und Schadcode zu verbreiten. Für deutsche Unternehmen ergeben sich daraus neue Anforderungen an die Absicherung ihrer KI-Integrationen.
Von falschen Antworten zu aktiven Bedrohungen
KI-Halluzinationen – das Erzeugen plausibel klingender, aber faktisch falscher Inhalte – gelten bisher vor allem als Qualitätsproblem. Doch die Grenze zwischen harmlosen Fehlern und sicherheitsrelevanten Schwachstellen verschwimmt zunehmend. Die Analyse von Ars Technica offenbart, dass neun der populärsten KI-Tools von Angreifern systematisch für die Erstellung und Verbreitung von Botnetz-Infrastrukturen genutzt werden können. Dabei generieren die Modelle nicht zufällig Schadcode, sondern liefern strukturierte Anleitungen für die Kompromittierung von Systemen. Die Halluzinationen manifestieren sich hier als scheinbar legitime, aber manipulierte technische Empfehlungen – beispielsweise zur Installation kompromittierter Softwarepakete oder zur Konfiguration unsicherer Netzwerkprotokolle.
Typosquatting und vertrauensbasierte Angriffe
Ein zentraler Mechanismus der dokumentierten Angriffskette ist die Ausnutzung von Vertrauen in KI-generierte Inhalte. Angreifer kombinieren dabei Typosquatting – die Registrierung täuschend ähnlicher Domainnamen – mit KI-erzeugten Empfehlungen. Die Sprachmodelle halluzinieren in diesem Kontext vermeintlich korrekte URLs oder Paketnamen, die auf bösartige Ressourcen verweisen. Da Nutzer zunehmend KI-Ausgaben als verlässliche Informationsquelle betrachten, entfällt die kritische Prüfung, die bei traditionellen Suchergebnissen noch üblich war. Für Unternehmen bedeutet dies, dass die Integration von KI-Tools in Entwicklungsprozesse, Helpdesk-Funktionen oder interne Wissensdatenbanken neue Einstiegspunkte für Supply-Chain-Angriffe schafft.
Fehlende Schutzmechanismen in Standardkonfigurationen
Die untersuchten KI-Tools verfügen in ihrer Standardkonfiguration über keine wirksamen Barrieren gegen die beschriebene Missbrauchsnutzung. Sicherheitsrichtlinien, die offensichtlich illegale Inhalte blockieren, greifen bei technisch formulierten Anfragen zuverlässig schlecht. Die Angriffe nutzen gezielt die Ambivalenz aus: Die Generierung von Netzwerkkonfigurationen oder Skripten ist legitim, ihre konkrete Ausgestaltung ermöglicht jedoch die Fernsteuerung kompromittierter Systeme. Unternehmen, die KI-Tools ungefiltert in ihre Arbeitsabläufe integrieren, übernehmen damit ein Risiko, das bisher weder in klassischen IT-Sicherheitskonzepten noch in KI-Governance-Rahmenwerken adressiert wird.
Für deutschsprachige Unternehmen verschärft sich die Situation durch regulatorische Parallelentwicklungen. Während die EU-KI-Verordnung Transparenz- und Dokumentationspflichten für Hochrisiko-Anwendungen vorsieht, fehlen spezifische Vorgaben zur Absicherung von General-Purpose-Modellen gegen Missbrauch durch Dritte. Betroffen sind hier besonders mittelständische Unternehmen mit begrenzten Sicherheitsressourcen, die KI-Tools zur Effizienzsteigerung einsetzen, ohne dedizierte Red-Team-Tests oder Output-Validierungsschleifen implementieren zu können. Die Konsequenz ist ein erhöhtes Bewusstsein für KI-Halluzinationen als aktive Bedrohung zu entwickeln – nicht als Bug, sondern als Feature, das gezielt für Angriffe instrumentalisiert werden kann. Unternehmen sollten daher neben Output-Kontrollen auch die Provenienz KI-generierter Inhalte nachvollziehbar machen und kritische Infrastrukturentscheidungen grundsätzlich durch sekundäre Verifikationsschritten absichern.
