ServiceNow Research hat mit dem EnterpriseOps-Gym einen Benchmark vorgestellt, der KI-Agenten endlich dort testet, wo es zählt: mitten im komplexen, unordentlichen Alltag realer Unternehmens-IT. Die ersten Ergebnisse sind ernüchternd – und genau deshalb wertvoll.
ServiceNow setzt KI-Agenten unter echten Unternehmensbedingungen auf die Probe
Das Problem mit bisherigen Benchmarks
Wer KI-Agenten in der Praxis einsetzt, weiß: Laborergebnisse und Alltagstauglichkeit klaffen oft weit auseinander. Bisherige Testumgebungen bilden reale Unternehmensinfrastrukturen nur unzureichend ab – fehlende Systemabhängigkeiten, zu wenig Mehrdeutigkeit, kein echtes Fehlerpotenzial. Kurz gesagt: zu sauber, um aussagekräftig zu sein.
Genau hier setzt EnterpriseOps-Gym an. Der Benchmark simuliert die typischen Abläufe eines IT-Betriebs – Ticketbearbeitung, Incident-Management, Ressourcenzuweisung – und versetzt KI-Agenten in Situationen, die dem operativen Alltag großer Organisationen nahekommen.
Unvollständige Informationen, parallele Aufgaben, widersprüchliche Anforderungen: Das sind keine Ausnahmen in diesem Framework, sondern der Normalzustand.
Was der Benchmark konkret testet
Im Kern geht es um sogenannte Agentic Planning-Fähigkeiten – also die Fähigkeit eines Modells, über mehrere Schritte hinweg eigenständig zu planen, Entscheidungen zu treffen und sich bei veränderten Bedingungen anzupassen. EnterpriseOps-Gym bewertet dabei nicht nur, ob ein Agent das richtige Ergebnis liefert, sondern wie er dahin gelangt:
- Welche Zwischenschritte wurden gewählt?
- Wie wird mit Unsicherheiten umgegangen?
- Werden Prioritäten korrekt gesetzt, wenn mehrere Aufgaben gleichzeitig anstehen?
Die Aufgaben sind in funktionale Domänen unterteilt, die typische Enterprise-Workflows widerspiegeln – darunter IT-Service-Management und operative Prozesse, wie sie in ServiceNow-Umgebungen alltäglich vorkommen. Die Bewertungslogik berücksichtigt sowohl Effizienz als auch Korrektheit, was einen differenzierteren Vergleich verschiedener Large Language Models ermöglicht als simple Erfolgsraten.
Erste Ergebnisse – und warum sie ernüchtern
Die initialen Tests mit gängigen Sprachmodellen zeigen: Selbst leistungsstarke Modelle stoßen in mehrstufigen, kontextreichen Unternehmensszenarien schnell an ihre Grenzen. Was in isolierten Aufgaben noch zuverlässig funktioniert, wird in verschachtelten Prozessen fehleranfällig.
Besonders bei Aufgaben, die eine genaue Kenntnis von Systemzuständen oder unternehmensspezifischen Abhängigkeiten voraussetzen, bricht die Performance messbar ein.
Das ist kein Befund, der überrascht – aber er ist nun erstmals systematisch belegbar. Genau das dürfte für Unternehmen relevant sein, die KI-Agenten nicht nur demonstrieren, sondern tatsächlich in Produktion bringen wollen.
Offene Architektur als Stärke
ServiceNow Research hat den Benchmark so konzipiert, dass er erweiterbar bleibt: Neue Aufgabentypen, Domänen und Bewertungsmetriken lassen sich integrieren, ohne das gesamte Framework neu aufzubauen. Das macht EnterpriseOps-Gym nicht nur zu einem Messinstrument für den aktuellen Stand, sondern zu einer Plattform, die mit der Entwicklung agentic KI-Systeme mitwachsen kann.
Der Code und die Aufgabensets sollen der Forschungsgemeinschaft zugänglich gemacht werden – ein Schritt, der Community-Validierung und unabhängige Reproduzierbarkeit ermöglicht.
Für deutsche Unternehmen, die den Einsatz autonomer KI-Agenten in ihrer IT-Infrastruktur prüfen, liefert EnterpriseOps-Gym einen nüchternen Orientierungsrahmen: Wer Modelle nur auf Basis herkömmlicher Benchmarks auswählt, riskiert böse Überraschungen im Produktivbetrieb. Frameworks wie dieses helfen, Kaufentscheidungen und Pilotprojekte auf eine belastbarere Grundlage zu stellen – gerade dann, wenn es um kritische Prozesse im IT-Service-Management geht.
Quelle: MarketTechPost
