Ein Forschungsteam der Universität Bonn hat ein KI-Modell entwickelt, das selbst entscheidet, wie intensiv es nachdenkt – und damit bei Mathematik-Benchmarks deutlich größere Systeme schlägt. Die Erkenntnisse könnten die Art verändern, wie Unternehmen KI-Infrastruktur kalkulieren.
KI-Architektur: Forscher zeigen, wann Nachdenken hilft – und wann nicht
Das Grundproblem: Rechenzeit ist nicht gleich Rechenzeit
Aktuelle Large Language Models behandeln nahezu jede Anfrage mit ähnlichem Rechenaufwand – unabhängig davon, ob jemand nach der Hauptstadt Frankreichs fragt oder eine mehrstufige Gleichung lösen möchte. Dieses pauschale Vorgehen ist ineffizient: Faktenwissen lässt sich direkt aus den Trainingsparametern abrufen, während logische Schlussfolgerungen tatsächlich iterative Verarbeitungsschritte erfordern.
Die Bonner Forscher unterscheiden deshalb konzeptionell zwischen zwei Aufgabentypen:
- Wissensbasierte Aufgaben, die primär auf gespeicherten Informationen beruhen – hier reicht ein leistungsfähiger Parameterspeicher.
- Schlussfolgernde Aufgaben, die schrittweises Denken verlangen – hier braucht es mehr Verarbeitungsiterationen.
Adaptive Verarbeitungstiefe statt fixer Architektur
Der entwickelte Mechanismus erlaubt es dem Modell, die Anzahl seiner Verarbeitungsschritte dynamisch anzupassen. Statt einer festen Schichttiefe entscheidet das System aufgabenabhängig, wie viele Iterationen es durchläuft – ein Konzept, das in der Forschungsliteratur als „Adaptive Computation” bekannt ist, bislang aber selten überzeugend in der Praxis umgesetzt wurde.
Das vergleichsweise kompakte Modell erzielt bei Mathematik-Benchmarks Ergebnisse, die deutlich größere Systeme mit fixer Architektur übertrafen – bei Wissensabfragen bleibt der Aufwand dagegen gering.
Das Ergebnis ist ein System, das Rechenkapazität dort konzentriert, wo sie tatsächlich gebraucht wird – und sie einspart, wo sie überflüssig wäre.
Effizienz als zentrales Ziel
Der Ansatz adressiert ein wachsendes Problem im KI-Betrieb: Die Inferenzkosten – also der Aufwand für das eigentliche Ausführen trainierter Modelle – steigen mit dem Unternehmenseinsatz erheblich. Systeme, die jeden Prompt gleich aufwendig verarbeiten, verschenken Ressourcen bei einfachen Anfragen und liefern bei komplexen Aufgaben womöglich dennoch unzureichende Ergebnisse.
Architekturelle Effizienz und Leistungsfähigkeit sind kein Widerspruch – Verbesserungen entstehen durch intelligentere Nutzung vorhandener Kapazitäten, nicht durch schlichtes Skalieren.
Einordnung: Relevanz für den Unternehmenseinsatz
Für Unternehmen, die KI-Systeme in produktiven Umgebungen betreiben oder planen, ist dieser Forschungsansatz aus mehreren Gründen relevant:
- Geringere Betriebskosten: Bei adaptiver Verarbeitungstiefe verbrauchen einfache Abfragen weniger Rechenleistung.
- Kein Zwang zur Skalierung: Zukünftige Modellgenerationen müssen nicht zwingend größer werden, um leistungsfähiger zu sein.
- Wirtschaftliche Relevanz: Gerade bei On-Premise-Deployments oder intensiver Cloud-Nutzung wirkt sich dieser Effizienzgewinn direkt auf die Infrastrukturkosten aus.
Bis solche Architekturen in kommerziell verfügbaren Systemen ankommen, dürfte noch einige Zeit vergehen. Die Ergebnisse aus Bonn bestätigen jedoch eine Richtung, in die mehrere Forschungsteams weltweit arbeiten: weg von uniformer Skalierung, hin zu aufgabenadaptiver Verarbeitung. Unternehmen, die heute KI-Infrastruktur evaluieren, sollten diesen Effizienzaspekt bei Auswahlentscheidungen bereits mitberücksichtigen.
Quelle: The Decoder – Mathe braucht Bedenkzeit, Alltagswissen ein gutes Gedächtnis
