Google stellt mit TurboQuant ein Quantisierungsverfahren vor, das den Speicherbedarf von Large Language Models um den Faktor sechs senken soll – bei gleichbleibender Ausgabequalität. Das könnte die Wirtschaftlichkeit des KI-Betriebs grundlegend verändern.
Google reduziert LLM-Speicherbedarf mit neuem Kompressionsverfahren TurboQuant
Google hat einen neuen Algorithmus zur Komprimierung von KI-Modellen vorgestellt, der den Arbeitsspeicherbedarf von Large Language Models um den Faktor sechs senken soll – ohne dabei messbare Einbußen bei der Ausgabequalität hinzunehmen. Das Verfahren namens TurboQuant könnte die Betriebskosten für KI-Infrastruktur erheblich beeinflussen.
Quantisierung ohne Qualitätsverlust
TurboQuant basiert auf dem Prinzip der Quantisierung: Dabei werden die Gewichte eines neuronalen Netzes, die üblicherweise in 16- oder 32-Bit-Gleitkommazahlen gespeichert sind, auf niedrigere Bit-Formate reduziert. Herkömmliche Quantisierungsverfahren führen dabei typischerweise zu Genauigkeitsverlusten, die sich in schlechterer Modellleistung niederschlagen.
Google gibt an, dieses Problem mit TurboQuant gelöst zu haben: Der Algorithmus soll die Modellgenauigkeit auch bei starker Komprimierung erhalten.
Der konkrete Ansatz zielt darauf ab, die mathematischen Eigenschaften der Gewichtsmatrizen so zu nutzen, dass die durch Quantisierung entstehenden Rundungsfehler systematisch kompensiert werden. Das Ergebnis sind Modelle, die deutlich weniger GPU- oder TPU-Speicher beanspruchen, aber funktional mit ihren unkomprimierten Pendants vergleichbar bleiben.
Praktische Relevanz für den Betrieb
Die Bedeutung dieser Entwicklung liegt vor allem in den operativen Konsequenzen. Speicher auf KI-Beschleunigern – insbesondere High Bandwidth Memory (HBM) auf modernen GPUs – zählt zu den teuersten und knappsten Ressourcen im KI-Betrieb. Wer ein Large Language Model mit 70 Milliarden Parametern in der Praxis einsetzen will, benötigt heute typischerweise mehrere hochwertige Grafikkarten allein für den Inference-Betrieb.
Eine Reduzierung des Speicherbedarfs um den Faktor sechs würde bedeuten, dass Modelle, die bislang acht A100-GPUs erforderten, künftig auf einer bis zwei solcher Karten lauffähig wären.
Das hat unmittelbare Auswirkungen auf Cloud-Kosten, On-Premises-Infrastruktur und die Möglichkeit, größere Modelle auf kleinerer Hardware zu betreiben.
Einordnung in den Marktkontext
TurboQuant reiht sich ein in eine wachsende Zahl von Effizienzverfahren, die in den vergangenen Monaten vorgestellt wurden. Methoden wie GPTQ, AWQ oder Llama.cpp-Quantisierung haben bereits gezeigt, dass komprimierte Modelle in vielen Anwendungsfällen ausreichende Qualität liefern. Google beansprucht mit TurboQuant eine besonders günstige Balance zwischen Kompressionsrate und Modellleistung.
Bislang hat Google die Ergebnisse im Rahmen eines Forschungspapiers veröffentlicht. Wann und in welcher Form TurboQuant in Googles Cloud-Diensten wie Vertex AI oder im Rahmen von Gemini-Modellen zum Einsatz kommt, ist noch nicht kommuniziert worden. Auch eine externe Verfügbarkeit für Drittanbieter steht noch aus.
Was das für deutsche Unternehmen bedeutet
Für Unternehmen, die KI-Modelle selbst betreiben oder über On-Premises-Lösungen nachdenken, sind Fortschritte in der Modellkomprimierung strategisch relevant. Effizientere Modelle senken nicht nur die Infrastrukturkosten, sondern können auch Datenschutzanforderungen leichter erfüllen – da weniger leistungsfähige Hardware für den lokalen Betrieb sensibler Daten ausreicht.
Sobald TurboQuant in produktiven Umgebungen oder als Open-Source-Implementierung verfügbar ist, dürfte das Verfahren besonders für mittelständische Unternehmen interessant werden, die bislang an den Hardwarekosten für den Eigenbetrieb großer Modelle gescheitert sind.
Quelle: Ars Technica AI
