Wer darf einem KI-Modell eigentlich Befehle erteilen – und was passiert, wenn verschiedene Quellen widersprüchliche Anweisungen liefern? OpenAI hat eine strukturierte Antwort auf diese Frage entwickelt, die für alle Unternehmen relevant ist, die Large Language Models in produktiven Prozessen einsetzen.
OpenAI schärft die Befehlskette: Wer darf dem Modell wirklich Anweisungen geben?
OpenAI hat Forschungsergebnisse zu einer verbesserten Steuerungsarchitektur für Large Language Models veröffentlicht – der sogenannten Instruction Hierarchy. Kern der Neuerung: Klare Prioritätsregeln legen fest, welche Anweisungsquelle im Konfliktfall Vorrang hat. Gerade für Unternehmen, die KI-Systeme in kritischen Geschäftsprozessen einsetzen, ist das mehr als ein technisches Detail.
Das Problem, das keiner gern ausspricht
Stell dir vor, ein Unternehmen deployed ein LLM als internen Einkaufsassistenten – sorgfältig konfiguriert, mit klaren Nutzungsregeln im System-Prompt. Dann kommt ein Endnutzer und formuliert seine Anfrage so geschickt, dass das Modell die ursprünglichen Betreibervorgaben faktisch ignoriert. Dieses Szenario ist kein theoretisches Konstrukt. Es passiert, und es hat einen Namen: Prompt Injection.
Genau hier setzt OpenAIs Instruction Hierarchy an. Die Forschungsarbeit beschreibt einen strukturierten Ansatz, bei dem Modellanweisungen nach ihrer Quelle gewichtet werden – System-Prompts vom Betreiber genießen höheres Vertrauen als Nutzereingaben, und beide rangieren über etwaigen externen Inhalten, die das Modell während einer Sitzung verarbeitet.
Klingt selbstverständlich. War es bislang aber nicht.
Drei Ebenen, eine klare Rangordnung
Das Prinzip lässt sich auf drei Vertrauensebenen herunterbrechen:
Betreiberebene – Unternehmen, die über die API konfigurieren, setzen den Rahmen. Ihre Anweisungen sollen das Verhalten des Modells grundsätzlich definieren und dürfen durch nachgelagerte Eingaben nicht unterlaufen werden.
Nutzerebene – Endanwender interagieren innerhalb dieses Rahmens. Sie können das Modell lenken, aber nicht die Grenzen einreißen, die der Betreiber gesetzt hat.
Externe Inhalte – Dokumente, Webseiten oder andere Datenquellen, die das Modell im Rahmen eines Workflows verarbeitet, stehen ganz unten in der Hierarchie. Sie dürfen das Modellverhalten nicht überschreiben – ein direkter Schutzwall gegen Prompt-Injection-Angriffe über manipulierte Dokumente.
In der Praxis bedeutet das: Wenn ein verarbeitetes PDF plötzlich Anweisungen enthält, die das Modell zu unerwünschtem Verhalten verleiten sollen, erkennt und ignoriert ein entsprechend trainiertes Modell diesen Versuch.
Warum Training hier wichtiger ist als Regeln
Bemerkenswert an OpenAIs Ansatz ist, dass die Hierarchy nicht nur als Prompt-Konvention implementiert wird, sondern tief ins Modelltraining einfließt. Das Modell soll die Prioritätslogik internalisieren – nicht bloß oberflächlich befolgen, wenn es explizit dazu aufgefordert wird.
Verhalten, das im Modell verankert ist, ist robuster als Regeln, die nur als Text übergeben werden.
Erste Evaluierungen zeigen, dass Modelle mit diesem Training deutlich widerstandsfähiger gegen sogenannte Jailbreaking-Versuche sind – also gegen Angriffe, die darauf abzielen, Sicherheitsgrenzen durch kreative Umformulierungen zu umgehen. Gleichzeitig, und das ist nicht trivial, soll die Nutzbarkeit für legitime Anwendungsfälle nicht leiden.
Was das für den deutschen Mittelstand bedeutet
Für Unternehmen hierzulande, die LLMs in automatisierten Prozessen einsetzen – ob in der Rechtsabteilung, im Einkauf oder im Kundendienst – liefert dieser Ansatz eine konzeptionelle Grundlage, die über das bloße Hoffen auf Modellzuverlässigkeit hinausgeht. Wer KI-gestützte Workflows verantwortet, sollte prüfen, inwieweit die eingesetzten Modelle und API-Konfigurationen tatsächlich eine belastbare Befehlshierarchie abbilden.
Die Frage ist nicht ob ein Angreifer versucht, das Modell umzuleiten – sondern wann. Und ob die Architektur dann hält.
Quelle: OpenAI – Instruction Hierarchy
