Ein neuer Benchmark enthüllt, was führende KI-Systeme trotz all ihrer Fähigkeiten noch immer nicht können – und stellt grundlegende Annahmen über den Stand der KI-Entwicklung in Frage.
ARC-AGI-3: Führende KI-Modelle scheitern an interaktiven Aufgaben unter einem Prozent Erfolgsquote
ARC-AGI-3 setzt aktuelle Large Language Models unter Druck – und legt dabei eine klare Lücke offen: Bei Aufgaben, die Menschen ohne besondere Vorkenntnisse lösen, erreichen selbst die leistungsfähigsten KI-Systeme keine Erfolgsquote von einem Prozent. Der neue Maßstab zwingt die Branche erneut zur Neubewertung.
Interaktion statt Wissensabfrage
Der Benchmark ARC-AGI-3, entwickelt vom ARC Prize-Team, unterscheidet sich grundlegend von bisherigen Testverfahren. Statt statischer Fragen werden die Modelle in interaktive Spielumgebungen versetzt, in denen sie durch Versuch und Irrtum Lösungen erarbeiten müssen.
Genau diese Fähigkeit – auf Feedback reagieren, schrittweise vorgehen, aus Fehlern lernen – gehört zu den selbstverständlichen kognitiven Werkzeugen des Menschen, stellt aktuelle KI-Systeme jedoch vor erhebliche Schwierigkeiten.
Besonders aufschlussreich ist, wie der Benchmark konstruiert wurde: Er entzieht den Modellen ihre stärksten Vorteile. Umfangreiche Trainingsdaten, Mustererkennung aus großen Textkorpora und das Abrufen gelernter Antworten helfen hier kaum. Gefragt ist stattdessen adaptives Problemlösen in einer unbekannten Umgebung – eine Kompetenz, die in der Forschung unter dem Begriff „fluid intelligence” diskutiert wird.
Kein Frontier-Modell überschreitet die Ein-Prozent-Marke
Die Ergebnisse sind eindeutig: Kein aktuell verfügbares Frontier-Modell – darunter die neuesten Versionen von OpenAI, Anthropic und Google – überschreitet die Ein-Prozent-Marke beim ARC-AGI-3. Menschen hingegen lösen dieselben Aufgaben mit hoher Zuverlässigkeit, ohne spezifische Vorbereitung.
„Echte generelle Intelligenz kann nicht durch das Skalieren von Trainingsdaten allein erreicht werden.”
— François Chollet, Ko-Initiator des ARC-Projekts
Chollet argumentiert seit Jahren, dass ein System, das auf reinem Musterabgleich basiert, in einer genuinen Problemlöseumgebung strukturell benachteiligt ist. ARC-AGI-3 ist als empirischer Beleg für genau diese These konzipiert.
Die Diskrepanz zwischen menschlicher und maschineller Leistung verdeutlicht: Aktuelle KI-Systeme weisen trotz beeindruckender Ergebnisse in Sprachverarbeitung, Codierung und Textgenerierung in bestimmten kognitiven Bereichen weiterhin erhebliche Schwächen auf.
Einordnung: Was Benchmarks leisten – und was nicht
Benchmarks wie ARC-AGI-3 erfüllen eine wichtige Funktion: Sie verhindern, dass Fortschrittserzählungen der Industrie unkritisch übernommen werden.
Gleichzeitig messen sie nur einen Ausschnitt dessen, was KI-Systeme heute leisten.
In kontrollierten Domänen – Rechtstext-Analyse, Code-Generierung, Dokumentenverarbeitung – erzielen aktuelle Modelle Ergebnisse, die für produktive Unternehmensprozesse belastbar genug sind.
Die Ergebnisse von ARC-AGI-3 unterstreichen jedoch, dass KI-Systeme dort an Grenzen stoßen, wo dynamisches, unbekanntes Terrain bewältigt werden muss – also genau in jenen Situationen, in denen menschliche Mitarbeiter besonders wertvoll sind:
- Krisenmanagement
- Explorative Produktentwicklung
- Komplexe Verhandlungssituationen
Konsequenzen für den Unternehmenseinsatz
Für Unternehmen in der DACH-Region, die KI-Systeme in ihre Prozesse integrieren oder entsprechende Investitionsentscheidungen treffen, liefern Benchmarks wie ARC-AGI-3 nützliche Orientierung.
Sie zeigen: Der produktive Einsatz von KI setzt eine präzise Aufgabendefinition voraus.
- Systeme, die in klar umrissenen, repetitiven oder wissensintensiven Aufgaben eingesetzt werden, entfalten ihren Nutzen.
- Für offene, adaptive Problemstellungen bleibt menschliche Urteilskraft vorerst unverzichtbar.
Wer KI-Projekte plant, sollte diese Unterscheidung in der Anforderungsanalyse verankern – bevor Erwartungen und Realität auseinanderfallen.
