Benchmark-Ergebnisse glänzen, doch in der Praxis liefern KI-Systeme oft weniger als versprochen. Eine wachsende Zahl von Forschern fordert einen grundlegenden Wandel in der Bewertung von KI-Modellen – weg von statischen Tests, hin zu praxisnahen Evaluierungsverfahren, die tatsächliche Leistungsfähigkeit abbilden.
KI-Benchmarks unter Druck: Forscher fordern praxistauglichere Bewertungsverfahren
Die gängigen Leistungstests für KI-Systeme spiegeln zunehmend weniger wider, wie Modelle in realen Unternehmensumgebungen abschneiden. Experten mahnen, dass Hersteller ihre Systeme gezielt auf bestehende Benchmarks optimieren – mit der Folge, dass hohe Testwerte und tatsächliche Nützlichkeit auseinanderfallen.
Das Grundproblem: Goodharts Gesetz im KI-Zeitalter
„Sobald eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein.” – Goodharts Gesetz
Wer misst, verändert das Gemessene. Dieser aus der Ökonometrie bekannte Effekt zeigt sich im KI-Bereich mit besonderer Schärfe. Sobald ein Benchmark zum Standardmaßstab wird, beginnen Entwickler, ihre Modelle darauf auszurichten – durch gezieltes Training auf ähnliche Datensätze, durch Anpassung der Architektur oder durch systematisches Fine-Tuning. Das Ergebnis: Modelle, die auf Leistungstests wie MMLU, HumanEval oder GSM8K Spitzenwerte erzielen, scheitern in praktischen Anwendungsszenarien häufig an Aufgaben, die nur geringfügig von den Testformaten abweichen.
Hinzu kommt das Problem der Datenkontamination. Trainingsdaten moderner Large Language Models umfassen große Teile des öffentlichen Internets – einschließlich der Benchmarks selbst und zugehöriger Lösungssammlungen. Ob ein Modell eine Frage wirklich „versteht” oder lediglich eine auswendig gelernte Antwort reproduziert, lässt sich mit statischen Tests kaum unterscheiden.
Statische Tests in einer dynamischen Welt
Ein weiteres strukturelles Problem liegt in der Aktualität. Benchmarks werden zu einem bestimmten Zeitpunkt entwickelt und spiegeln den damaligen Stand der Technik wider. Die KI-Entwicklung bewegt sich jedoch in kurzen Zyklen: Was vor zwei Jahren ein anspruchsvoller Test war, ist für aktuelle Modelle oft trivial. Auf den populären Leistungsbestenlisten häufen sich Modelle mit Ergebnissen nahe der theoretischen Höchstmarke – die Aussagekraft sinkt damit gegen null.
Auch die Einseitigkeit der Testdesigns wird kritisiert. Viele Benchmarks messen isolierte Fähigkeiten wie Mathematik, Coding oder Sprachverständnis unter kontrollierten Bedingungen. Komplexe, mehrstufige Aufgaben, wie sie in Unternehmensumgebungen typisch sind – etwa das selbstständige Bearbeiten eines Projekts über mehrere Schritte mit externen Tools und wechselnden Anforderungen –, bleiben weitgehend unbewertet.
Kernproblem: Hohe Benchmark-Scores und tatsächliche Nützlichkeit im Unternehmensalltag klaffen immer weiter auseinander.
Was Forscher als Alternative vorschlagen
In der Forschungsgemeinschaft nehmen Forderungen nach dynamischeren Evaluierungsansätzen zu. Diskutiert werden unter anderem:
- Kontinuierlich aktualisierte Benchmark-Suiten, bei denen neue Aufgaben regelmäßig eingespeist werden, bevor Modelle gezielt darauf trainiert werden können
- „Held-out”-Evaluierungen, bei denen unabhängige Dritte Testaufgaben verwalten, auf die Modellentwickler keinen Zugriff haben
- Aufgabenbasierte Evaluierungen in realistischen Umgebungen – etwa Simulationen von Büroprozessen, Kundenkommunikation oder Softwareentwicklungsworkflows
Plattformen wie SWE-Bench, das Coding-Aufgaben aus echten GitHub-Issues zieht, gelten als Schritt in diese Richtung, decken aber ebenfalls nur einen Teilbereich ab.
Einige Stimmen plädieren zudem für mehr Transparenz auf Seiten der Hersteller: Welche Daten flossen ins Training? Wie wurden Testüberschneidungen geprüft? Solche Angaben sind bislang selten und kaum standardisiert.
Einordnung für deutsche Unternehmen
Für Tech-Entscheider in Deutschland hat die Benchmark-Debatte praktische Konsequenzen. Wer KI-Systeme einkauft oder in Prozesse integriert, sollte sich nicht allein auf Herstellerangaben zu Benchmark-Ergebnissen verlassen. Aussagekräftiger sind:
- Eigene Proof-of-Concepts mit unternehmenseigenen Daten und Aufgabenstellungen
- Unabhängige Evaluierungen durch Dritte
- Branchenstandards von Verbänden wie Bitkom oder europäischen Initiativen im Rahmen des AI Acts
Der Aufbau manipulationsresistenter Bewertungsstandards ist ein wichtiger Schritt – doch er braucht Zeit und politischen Willen.
Quelle: MIT Technology Review – „AI benchmarks are broken. Here’s what we need instead”
