Alibabas Forschungsteam präsentiert mit FIPO einen Trainingsalgorithmus, der KI-Modelle zu längeren und strukturierteren Denkprozessen bringt – ohne größere Modelle oder mehr Trainingsdaten zu benötigen.
Alibabas Qwen-Team verbessert Reasoning-Fähigkeiten mit neuem Trainingsalgorithmus
Das Qwen-Team von Alibaba hat einen neuen Algorithmus vorgestellt, der die Denktiefe von KI-Modellen beim Reasoning signifikant verbessert. Der Ansatz adressiert eine strukturelle Schwäche im bisherigen Reinforcement Learning und soll Modelle dazu bringen, komplexe Argumentationsketten deutlich länger und gründlicher zu verfolgen.
Das Problem mit gleichgewichteten Tokens
Aktuelle Reasoning-Modelle werden mithilfe von Reinforcement Learning trainiert – einem Verfahren, bei dem das Modell für korrekte Antworten belohnt wird. Das grundlegende Problem dabei: Alle erzeugten Tokens, also alle Wortbestandteile einer Antwort, werden dabei gleich behandelt. Ob ein Token am Anfang einer Argumentationskette steht oder am Ende, ob er logisch entscheidend ist oder wenig zur Lösung beiträgt – das bisherige Verfahren unterscheidet nicht.
Das führt in der Praxis dazu, dass Modelle keine Anreize haben, besonders wichtige Zwischenschritte in einer komplexen Überlegung besonders sorgfältig zu gewichten. Das Ergebnis sind verkürzte Denkprozesse, die bei anspruchsvolleren Aufgaben zu Fehlern neigen.
Schrittweise Bewertung statt pauschaler Belohnung
Der neue Algorithmus des Qwen-Teams, den die Forscher als FIPO bezeichnen, verfolgt einen anderen Ansatz: Jeder Schritt in der Argumentationskette wird danach bewertet, wie stark er den weiteren Verlauf der Überlegung beeinflusst. Tokens und Zwischenschritte, die für den nachfolgenden Denkprozess besonders relevant sind, erhalten eine höhere Gewichtung im Training.
Das Modell lernt dadurch, kritische Entscheidungspunkte in einer Argumentationskette zu erkennen – und ihnen mehr Aufmerksamkeit zu widmen.
Die praktische Konsequenz ist messbar: Laut Angaben des Qwen-Teams verdoppelt sich die durchschnittliche Länge der generierten Denkprozesse gegenüber dem bisherigen Verfahren. Längere Reasoning-Ketten gelten in der Forschung als Indikator für tieferes, strukturierteres Problemlösen.
Leistungsgewinne auf etablierten Benchmarks
In ersten Tests zeigt FIPO deutliche Verbesserungen auf gängigen Reasoning-Benchmarks, darunter Mathematik- und Logikaufgaben, bei denen mehrstufiges Schlussfolgern erforderlich ist. Die Methode wurde auf bestehenden Qwen-Modellen erprobt und soll sich grundsätzlich auf unterschiedliche Modellgrößen anwenden lassen.
Kein größeres Modell, keine zusätzlichen Trainingsdaten – die Verbesserung ergibt sich allein aus der veränderten Trainingslogik.
Das macht den Ansatz auch unter Kostengesichtspunkten attraktiv. Trainingseffizienz ist ein zunehmend zentrales Thema in der KI-Forschung, da die Rechenkosten für leistungsstarke Modelle erheblich sind.
Einordnung für deutsche Unternehmen
Für Unternehmen, die KI-gestützte Systeme für komplexe Aufgaben – etwa juristische Analyse, technische Fehlerdiagnose oder mehrstufige Planungsprozesse – einsetzen oder evaluieren, ist die Entwicklung relevant. Bessere Reasoning-Fähigkeiten bedeuten in der Praxis zuverlässigere Ergebnisse bei Aufgaben, die sequenzielle Schlussfolgerungen erfordern.
Die Qwen-Modelle von Alibaba sind in Open-Source-Varianten verfügbar und damit auch für europäische Unternehmen zugänglich, die KI-Kapazitäten ohne Abhängigkeit von US-amerikanischen Anbietern aufbauen wollen. Ob und wann FIPO in öffentlich verfügbare Qwen-Versionen einfließt, hat das Team bislang nicht kommuniziert. Die Veröffentlichung des Algorithmus als Forschungsbeitrag legt jedoch nahe, dass eine breitere Implementierung mittelfristig geplant ist.
Quelle: The Decoder
