Knapp tausend Wissenschaftlerinnen und Wissenschaftler aus aller Welt haben den bislang härtesten KI-Benchmark entwickelt – einen Test, der explizit darauf ausgelegt ist, selbst die leistungsstärksten Sprachmodelle scheitern zu lassen. Die Ergebnisse sind ernüchternd und zugleich aufschlussreich.
Der härteste KI-Test aller Zeiten – was die Ergebnisse über den wahren Stand der Technik verraten
Die gängigen KI-Benchmarks haben ausgedient. Weil selbst komplexe Prüfungen von modernen Sprachmodellen inzwischen mühelos gemeistert werden, haben knapp tausend Fachleute aus aller Welt einen neuen Test entwickelt – einen, der bewusst darauf ausgelegt ist, aktuelle KI-Systeme scheitern zu lassen. Die Ergebnisse sind ernüchternd, aber auf eine überraschende Art.
Wenn der Test zum Problem wird
Benchmarks haben eine unangenehme Eigenschaft: Sie altern schnell. Was vor drei Jahren noch als anspruchsvoller Prüfstein für künstliche Intelligenz galt, ist heute oft kaum mehr als eine Aufwärmübung für die leistungsstärksten Large Language Models. MMLU, BIG-Bench, sogar Teile des Bar Exam – abgehakt, erledigt, überholt.
Genau hier setzt Humanity’s Last Exam an. Der Name klingt dramatisch, ist aber programmatisch gemeint: ein Test, der nicht irgendwann überholt werden soll. Entwickelt von knapp 1.000 Experten aus Dutzenden wissenschaftlicher Disziplinen, umfasst er 2.500 Fragen – aus Bereichen, die so hochspezialisiert sind, dass selbst promovierte Fachleute außerhalb ihres engeren Forschungsgebiets ins Schwitzen kämen.
Das Prinzip der absichtlichen Schwierigkeit
Das Konstruktionsprinzip des Tests ist ungewöhnlich konsequent:
Jede Frage, die ein aktuelles KI-Modell korrekt beantworten konnte, wurde aus dem Pool gestrichen.
Was übrig blieb, sind Fragen, bei denen selbst GPT-4-Klasse-Modelle zuverlässig versagen – nicht weil die Fragen schlecht gestellt sind, sondern weil sie echtes, tiefes Expertenwissen erfordern. Kein Paraphrasieren von Wikipedia-Artikeln hilft hier weiter.
Die Themen reichen von obskuren Bereichen der theoretischen Mathematik über molekulare Biologie bis hin zu rechtshistorischen Spezialfragen. Kurz gesagt: Das ist kein Test für Generalisten.
Was die ersten Ergebnisse zeigen
Die Zahlen überraschen – allerdings anders als erhofft. Selbst die leistungsstärksten derzeit verfügbaren Modelle erreichen erschreckend niedrige Trefferquoten. Die Lücke zwischen dem, was aktuelle KI-Systeme leisten, und dem, was echte menschliche Expertise ausmacht, ist offenbar deutlich größer als in der öffentlichen Debatte oft suggeriert wird.
Tiefes Domänenwissen – das, was einen echten Spezialisten auszeichnet – lässt sich eben nicht einfach aus Trainingsdaten destillieren.
Das ist insofern bemerkenswert, als die Narrative rund um KI-Fähigkeiten in den letzten Jahren zunehmend von Superlativen geprägt waren. Humanity’s Last Exam setzt dem eine methodisch saubere Realitätsprüfung entgegen.
Was das für die Einordnung von KI-Fähigkeiten bedeutet
Ein Test wie dieser ist mehr als ein akademisches Spielzeug. Er liefert ein realistischeres Bild davon, wo KI-Systeme tatsächlich stehen – fernab von Marketing-Demos und selektiv gewählten Vorzeige-Beispielen. Für Unternehmen, die über den Einsatz von KI in wissensintensiven Bereichen nachdenken – Recht, Medizin, Ingenieurwesen, Forschung –, ist das eine wichtige Einordnung.
Für deutsche Unternehmen bedeutet das konkret: KI-Systeme sind heute starke Werkzeuge für strukturierte, gut definierte Aufgaben. Wer sie jedoch als vollwertigen Ersatz für Fachexperten positioniert oder entsprechende Entscheidungen delegiert, unterschätzt die noch erheblichen Lücken in der Tiefenkompetenz dieser Systeme.
Humanity’s Last Exam liefert dafür erstmals einen methodisch sauberen Beleg – und sollte in jede ehrliche KI-Strategie-Diskussion einfließen.
Quelle: ScienceDaily
