Ein fiktiver Fitness-Tracker reicht aus, um KI-Empfehlungssysteme auszutricksen – Sicherheitsforscher dokumentieren, wie erschreckend leicht sich AI-Poisoning-Angriffe in der Praxis umsetzen lassen und welche Konsequenzen das für Unternehmen hat.
Gefälschter Fitness-Tracker manipuliert KI-Empfehlungssysteme
Sicherheitsforscher haben einen Fall dokumentiert, bei dem ein nicht existierendes Fitness-Produkt durch gezielte Dateneingaben in KI-gestützte Empfehlungssysteme eingeschleust wurde. Der Vorfall zeigt exemplarisch, wie anfällig Large Language Models und Empfehlungsalgorithmen für sogenannte AI-Poisoning-Angriffe sein können.
Manipulation durch fabrizierte Produktdaten
Im Kern des beschriebenen Angriffsszenarios steht ein fiktiver Fitness-Tracker, dessen Eigenschaften und Nutzerbewertungen systematisch in öffentlich zugängliche Datenquellen eingespeist wurden. KI-Systeme, die diese Quellen zur Produktempfehlung auswerten, übernahmen die gefälschten Informationen und empfahlen das Produkt in der Folge als legitime Option. Chatbots und KI-gestützte Shopping-Assistenten erkannten die manipulierten Einträge nicht als solche.
Das Prinzip hinter diesem Angriff ist nicht neu – was den aktuellen Fall auszeichnet, ist die Leichtigkeit, mit der sich entsprechende Inhalte in den Informationsfluss moderner KI-Systeme einbringen lassen.
AI Poisoning beschreibt die gezielte Verfälschung von Trainingsdaten oder Eingabequellen, um das Verhalten eines KI-Modells zu beeinflussen. Die Einfachheit der Methode macht sie besonders beunruhigend.
Strukturelle Schwachstellen bei Retrieval-Systemen
Besonders betroffen sind Systeme, die auf dem Retrieval-Augmented Generation (RAG)-Prinzip basieren. Dabei greifen Language Models zur Laufzeit auf externe Datenquellen zu, um aktuelle oder produktspezifische Informationen in ihre Antworten einzubeziehen. Sind diese Quellen – etwa Produktdatenbanken, Rezensionsplattformen oder öffentliche Webseiten – kompromittiert, übernimmt das Modell die fehlerhaften Inhalte, ohne sie eigenständig zu verifizieren.
Das Problem verschärft sich durch mangelnde Transparenz:
Welche Quellen das System konsultiert und wie stark einzelne Datenpunkte gewichtet werden, ist für Betreiber und Endnutzer oft nicht nachvollziehbar.
Viele Unternehmen betreiben KI-Empfehlungsfunktionen als Black Box – ein Risiko, das in der Sicherheitsstrategie bislang häufig unterschätzt wird.
Relevanz für E-Commerce und B2B-Plattformen
Für Unternehmen, die KI-gestützte Produktempfehlungen im E-Commerce oder in B2B-Beschaffungsplattformen einsetzen, ergibt sich daraus ein konkretes Bedrohungsbild:
- Wettbewerber könnten eigene Produkte durch gezielte Datenpflege bevorzugt platzieren
- Konkurrenzprodukte lassen sich durch negative Einträge systematisch benachteiligen
- Staatlich gesteuerte Akteure nutzen solche Methoden als Teil dokumentierter wirtschaftlicher Einflusskampagnen
Hinzu kommt die rechtliche Dimension: Unternehmen, die ihren Kunden durch manipulierte KI-Systeme falsche Produktempfehlungen ausspielen, können haftungsrechtlich in Schwierigkeiten geraten – unabhängig davon, ob der Ursprung der Manipulation außerhalb des eigenen Einflussbereichs liegt.
Einordnung und Handlungsempfehlungen für deutsche Unternehmen
Für Unternehmen im deutschsprachigen Raum empfiehlt sich eine kritische Überprüfung der Datenquellen, auf die KI-Empfehlungssysteme zugreifen. Konkrete Schutzmaßnahmen umfassen:
- Regelmäßige Audits der genutzten Datenpipelines
- Klare Dokumentation aller Informationsquellen
- Plausibilitätsprüfungen bei unbekannten Produkteinträgen
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) behandelt AI Poisoning zunehmend als eigenständige Bedrohungskategorie – ein Signal, das Verantwortliche ernst nehmen sollten.
