KI-Beschleuniger wie Nvidias H100 oder Googles TPUs sind für Effizienz optimiert – nicht für wissenschaftliche Präzision. Das wird zum strukturellen Problem, sobald Unternehmen und Forschungseinrichtungen diese Hardware für numerisch anspruchsvolle Simulationen einsetzen wollen.
Zahlenformate: Wo KI-Hardware und wissenschaftliche Präzision auseinanderfallen
Der Konflikt zwischen den Zahlenformaten der KI-Welt und der Wissenschaft ist grundlegend – und technisch schwer zu überbrücken.
Zwei Welten, zwei Anforderungen
Für das Training und den Betrieb von Large Language Models reichen Zahlenformate mit geringer Präzision aus. Formate wie BFloat16 oder die noch kompakteren FP8-Varianten genügen, weil neuronale Netze eine gewisse numerische Unschärfe tolerieren – Gewichtungen müssen nicht auf viele Nachkommastellen exakt sein, solange das Modell insgesamt stabile Ergebnisse liefert. Genau auf diesen Anwendungsfall sind die Rechenwerke moderner KI-Chips wie Nvidias H100 oder Googles TPUs ausgelegt.
Wissenschaftliche Simulationen stellen dagegen fundamental andere Anforderungen. Klimamodelle, Strömungssimulationen, quantenchemische Berechnungen oder numerische Lösungsverfahren für Differentialgleichungen sind auf Double Precision (FP64) angewiesen – ein Format, das 64 Bit pro Zahl verwendet und damit eine weitaus größere Bandbreite an darstellbaren Werten sowie deutlich höhere Genauigkeit bietet.
Kleine Rundungsfehler, die sich über Tausende von Iterationen aufaddieren, können in wissenschaftlichen Kontexten zu physikalisch sinnlosen Ergebnissen führen.
Die Hardware-Lücke
Das Kernproblem liegt in der Chip-Architektur: KI-Beschleuniger erreichen ihre beeindruckenden Rechenleistungen vor allem durch massenhafte Parallelverarbeitung in niedrigen Präzisionsstufen. Die FP64-Leistung derselben Hardware ist dagegen oft drastisch reduziert – bei der H100 von Nvidia liegt sie bei einem Bruchteil der BF16-Kapazität. Wer wissenschaftliche Berechnungen auf KI-Hardware ausführen möchte, zahlt einen erheblichen Effizienzpreis.
Die Forschungsgemeinschaft arbeitet an alternativen Zahlenformaten, die eine Brücke schlagen sollen. Ansätze wie Posit-Zahlen oder adaptive Floating-Point-Formate versprechen, mit weniger Bits mehr relevante Präzision darzustellen – indem sie die Verteilung darstellbarer Werte nicht gleichmäßig, sondern bedarfsgerecht gestalten. Ob sich solche Formate in Hardware gießen und industriell durchsetzen lassen, bleibt offen.
Konvergenz bleibt schwierig
Ein weiteres strukturelles Problem ist die Standardisierung. IEEE 754, der heute dominierende Standard für Gleitkommazahlen, wurde in den 1980er-Jahren entwickelt und ist tief in Software-Ökosystemen, Compilern und Betriebssystemen verankert. Neue Formate müssen sich nicht nur technisch bewähren, sondern auch in diesem komplexen Umfeld Fuß fassen – ein Prozess, der Jahre bis Jahrzehnte dauern kann.
Die wirtschaftlichen Anreize der Chiphersteller zeigen klar in Richtung KI-Workloads. Der Marktdruck durch generative KI sorgt dafür, dass Investitionen bevorzugt in die Optimierung niedrigpräziser Rechenoperationen fließen.
Einordnung für deutsche Unternehmen
Für Unternehmen und Forschungseinrichtungen in Deutschland, die KI-Infrastruktur für wissenschaftliche oder ingenieurstechnische Anwendungen evaluieren, ergibt sich ein klarer Handlungsbedarf:
- Präzisionsanforderungen prüfen, bevor KI-Hardware beschafft wird
- Für Finite-Elemente-Analysen, Strömungsberechnungen oder Simulationen sind klassische HPC-Systeme auf Basis FP64-optimierter Prozessoren oft die bessere Wahl
- Die Konvergenz beider Welten in einer einheitlichen Hardware-Plattform ist technisch noch nicht erreicht
Wer mit dem neuesten KI-Beschleuniger wissenschaftliche Hochpräzisionsberechnungen betreiben will, riskiert nicht nur Ineffizienz – sondern unter Umständen fehlerhafte Ergebnisse.
Quelle: IEEE Spectrum – Number Formats in AI & Scientific Computing
