OpenAI erweitert sein Bug-Bounty-Programm um KI-spezifische Schwachstellen – und gibt damit Unternehmen, die auf Sprachmodelle setzen, erstmals eine strukturierte Risiko-Referenz an die Hand. Für IT-Sicherheitsverantwortliche in Deutschland wird das Programm auch regulatorisch relevant.
OpenAI weitet Sicherheitsprogramm aus: Bug Bounty nun auch für KI-spezifische Schwachstellen
OpenAI hat sein bestehendes Bug-Bounty-Programm um einen eigenen Bereich für sicherheitsrelevante KI-Risiken erweitert. Damit reagiert das Unternehmen auf eine wachsende Zahl bekannter Angriffsvektoren, die speziell bei Large Language Models auftreten. Für Unternehmen, die OpenAI-Produkte produktiv einsetzen, liefert das Programm eine strukturierte Übersicht über Risikokategorien, die bislang oft unterschätzt wurden.
Neue Angriffsvektoren im Fokus
Im Kern des erweiterten Programms stehen Schwachstellen, die nicht aus klassischer Software-Sicherheit stammen, sondern spezifisch für KI-Systeme sind. Dazu zählen insbesondere:
- Prompt-Injection-Angriffe, bei denen Eingaben so manipuliert werden, dass das Modell unbeabsichtigte oder schädliche Aktionen ausführt
- Modellseitige Datenlecks, bei denen Trainingsdaten oder nutzerspezifische Informationen ungewollt im Modell-Output auftauchen können
OpenAI vergibt für qualifizierte Meldungen Prämien in abgestufter Höhe – abhängig vom Schweregrad der entdeckten Schwachstelle. Details zu den Auszahlungsstufen veröffentlicht das Unternehmen über die Bug-Bounty-Plattform Bugcrowd.
Was das für den Unternehmenseinsatz bedeutet
Die öffentliche Kategorisierung von Schwachstellen durch OpenAI selbst hat einen praktischen Nebeneffekt: Unternehmen erhalten dadurch eine klare Referenzliste bekannter Risiken, die sie für ihre eigenen Sicherheitsbewertungen nutzen können. Wer ChatGPT Enterprise, die OpenAI-API oder darauf basierende Eigenentwicklungen betreibt, sollte die genannten Kategorien unmittelbar in bestehende Risikobewertungen aufnehmen.
Prompt Injection ist dabei besonders relevant für Anwendungen, in denen das Sprachmodell auf externe Datenquellen oder Nutzereingaben zugreift – etwa in:
- automatisierten Kundenservice-Systemen
- internen Wissensmanagement-Tools
Ein erfolgreicher Angriff kann dazu führen, dass das Modell Anweisungen aus manipulierten Dokumenten oder Nutzereingaben befolgt, die eigentlich nicht autorisiert sind.
Einordnung in den regulatorischen Kontext
Das Programm entsteht in einem Umfeld zunehmender regulatorischer Anforderungen. Der EU AI Act klassifiziert bestimmte KI-Anwendungen als hochriskant und verlangt von Betreibern entsprechende Sicherheitsmaßnahmen sowie Nachweise zur Robustheit der Systeme.
Ein strukturiertes Bug-Bounty-Programm des Modell-Anbieters kann als ein Element in einer umfassenderen Compliance-Strategie gelten – ersetzt aber keine eigene Risikoanalyse auf Anwendungsebene.
Sicherheitsforscher und Unternehmen, die Schwachstellen verantwortungsvoll melden, tragen zudem zur Qualitätsverbesserung der Systeme bei, auf die viele Firmen inzwischen geschäftskritische Prozesse aufgebaut haben.
Einordnung für den deutschen Markt
Für deutsche Unternehmen, die OpenAI-Dienste in produktiven Umgebungen nutzen, empfiehlt sich eine systematische Auseinandersetzung mit den vom Bounty-Programm abgedeckten Risikoklassen. IT-Sicherheitsverantwortliche sollten konkret prüfen:
- Berücksichtigen vorhandene Bedrohungsmodelle bereits Prompt Injection?
- Sind modellseitige Datenlecks im Risikokatalog erfasst?
- Ist die Dokumentation entsprechender Maßnahmen für eine mögliche EU AI Act-Prüfung aufbereitet?
Da der EU AI Act für viele Anwendungsfälle konkrete Sorgfaltspflichten vorsieht, wird die Dokumentation solcher Maßnahmen künftig nicht nur technisch, sondern auch rechtlich relevant sein.
Quelle: OpenAI – Safety Bug Bounty
