Ein neuer Benchmark-Test stellt die Behauptungen der KI-Branche auf den Prüfstand – und das Ergebnis ist ernüchternd: Während CEOs von AGI sprechen, scheitern führende Sprachmodelle bei Aufgaben, die Menschen mühelos lösen.
Neuer AGI-Benchmark ernüchtert: Aktuelle KI-Modelle scheitern deutlich an menschlicher Leistung
Ein neuer Leistungstest für Künstliche Intelligenz zeigt, wie weit aktuelle Sprachmodelle von echter allgemeiner Intelligenz entfernt sind. Während führende KI-Anbieter öffentlich von der bevorstehenden oder bereits erreichten AGI sprechen, liefert der Benchmark ARC-AGI-3 ein deutlich nüchterneres Bild.
Was der Benchmark misst
ARC-AGI-3 (Abstraction and Reasoning Corpus) wurde von der ARC Prize Foundation entwickelt und gilt als eines der anspruchsvollsten Testverfahren für allgemeine Problemlösefähigkeiten. Anders als klassische Sprachtests prüft der Benchmark die Fähigkeit, neue, bislang unbekannte Aufgaben durch logisches Schlussfolgern zu lösen – eine Kernkompetenz, die dem menschlichen Denken näherkommt als das bloße Wiedergeben trainierter Muster.
ARC-AGI-3 testet nicht, was ein Modell auswendig gelernt hat – sondern ob es wirklich denken kann.
Ernüchternde Ergebnisse für führende Modelle
Die Resultate sprechen eine klare Sprache:
| Modell | Erzielte Punktzahl |
|---|---|
| Googles Gemini | 0,37 % |
| OpenAIs GPT-4.5 | 0,26 % |
| Mensch (Baseline) | 100 % |
Andere prominente Modelle wie Anthropics Claude und xAIs Grok schnitten ähnlich schwach ab.
Diese Zahlen erscheinen besonders aussagekräftig im Kontext der öffentlichen Kommunikation der KI-Branche. Jensen Huang, CEO von Nvidia, hatte in derselben Woche erklärt, AGI sei bereits erreicht – eine Einschätzung, die unter Forschern ohnehin umstritten ist und durch diesen Benchmark-Test empirisch kaum gestützt wird.
Das Problem mit AGI-Definitionen
Ein Teil der Diskrepanz liegt in der fehlenden Standardisierung des AGI-Begriffs. Unternehmen wie OpenAI, Google DeepMind und Anthropic verwenden unterschiedliche, teils interne Definitionen, die auf eigene Fähigkeitsmetriken zugeschnitten sind.
Der ARC-AGI-Ansatz hingegen orientiert sich an einer formalen Definition von François Chollet, dem Erfinder des Benchmarks:
Ein System gilt als allgemein intelligent, wenn es neue Aufgaben effizient lösen kann, ohne auf spezifisches Training für genau diese Aufgaben angewiesen zu sein.
Aktuelle Large Language Models sind darauf optimiert, statistische Muster aus enormen Trainingsmengen abzurufen. Aufgaben, die echtes induktives Schlussfolgern ohne Vorerfahrung erfordern, stellen für sie nach wie vor eine strukturelle Grenze dar.
Leistungssteigerung durch Rechenaufwand
Interessant ist, dass einige Modelle bei erhöhtem Rechenbudget – sogenanntem „Extended Compute” oder Chain-of-Thought-Reasoning – deutlich besser abschneiden. Unter diesen Bedingungen erreichten einzelne Systeme in früheren ARC-Versionen Werte im zweistelligen Prozentbereich.
Dennoch bleibt die Lücke zur menschlichen Baseline erheblich, und die praktische Anwendbarkeit solcher rechenintensiver Ansätze für Unternehmensszenarien ist begrenzt.
Einordnung für Unternehmen
Für Entscheider in deutschen Unternehmen liefert der ARC-AGI-3-Benchmark eine wichtige Orientierungshilfe:
- ✅ Geeignet: Textgenerierung, Datenanalyse, Code-Unterstützung – klar definierte, strukturierte Aufgaben
- ⚠️ Begrenzt: Flexibles Urteilsvermögen, kreative Problemlösung in unbekannten Situationen
- ❌ Nicht ersetzbar: Strategisches Denken und Entscheidungen in komplexen, neuartigen Kontexten
Investitionsentscheidungen und Automatisierungsstrategien sollten die tatsächlichen Fähigkeitsgrenzen aktueller Modelle realistisch berücksichtigen – unabhängig von den Marketingaussagen der Anbieter.
Menschliche Expertise bleibt dort unverzichtbar, wo Flexibilität und echtes Urteilsvermögen gefragt sind.
