Mit Version 6.0 erweitert der Industrie-Benchmark MLPerf Inference sein Testspektrum erstmals auf multimodale und Video-Modelle. Nvidia, AMD und Intel melden jeweils neue Rekorde – doch wer die Zahlen genau liest, erkennt: Die Hersteller messen vor allem das, was sie gut aussehen lässt.
MLPerf v6.0: Neue Benchmark-Runde mit multimodalen Tests – Vergleiche zwischen Herstellern bleiben schwierig
Was MLPerf Inference misst
MLPerf Inference ist der etablierte Branchenstandard zur Messung von KI-Inferenzleistung – also der Geschwindigkeit, mit der trainierte Modelle Anfragen verarbeiten. Der Benchmark wird von MLCommons koordiniert und gilt als eine der wenigen neutralen Vergleichsgrundlagen im fragmentierten KI-Hardware-Markt.
Version 6.0 erweitert die bisherigen Testszenarien erstmals um multimodale Modelle sowie Video-Verarbeitung, was die Relevanz für reale Unternehmensanwendungen erhöht.
Nvidia, AMD und Intel mit selektiver Kommunikation
Alle drei Hersteller melden für ihre jeweiligen Systeme neue Höchstwerte – doch die Zahlen sind nur bedingt vergleichbar:
- Nvidia hebt die Gesamtleistung seiner H100- und Blackwell-basierten Systeme in möglichst vielen Testkategorien hervor.
- AMD konzentriert seine Kommunikation auf ausgewählte Workloads, bei denen die MI300X-Beschleuniger besonders gut abschneiden.
- Intel betont Effizienzmetriken seiner Gaudi-Plattform – etwa Leistung pro Watt – statt rohe Durchsatzwerte.
Dieses Muster ist bei MLPerf-Runden nicht neu: Da Hersteller selbst entscheiden, für welche Testkategorien und Systemkonfigurationen sie Ergebnisse einreichen, entstehen keine vollständig symmetrischen Vergleichstabellen.
Ein GPU-Modell, das in einer Kategorie Spitzenwerte erzielt, muss in anderen Disziplinen gar nicht erst angetreten sein.
Neue Testszenarien mit praktischer Relevanz
Die Erweiterung um multimodale Modelle – Systeme, die Text, Bild und Video kombiniert verarbeiten – ist für die Einordnung der Ergebnisse besonders relevant. Anwendungsfälle wie Dokumentenanalyse, automatisierte Qualitätskontrolle oder multimodale Kundenservice-Assistenten rücken damit stärker in den Fokus des Benchmarks. Bislang dominierten reine Sprachmodell-Tests das Bild.
Gleichzeitig zeigt die neue Runde: Die Leistungsunterschiede zwischen Hardwareplattformen variieren je nach Modelltyp erheblich. Was bei Large Language Models gilt, lässt sich nicht ohne Weiteres auf Bildverarbeitungs- oder Video-Workloads übertragen.
Strukturelles Problem: Benchmark-Design und Marketing
Das grundlegende methodische Problem bei MLPerf bleibt bestehen: Die freiwillige Teilnahme und die selektive Einreichung von Ergebnissen machen es für Einkäufer schwierig, belastbare Aussagen abzuleiten.
MLPerf-Ergebnisse liefern Orientierungswerte – keine vollständigen Leistungsprofile.
Hersteller optimieren ihre Systeme gezielt für die eingereichten Kategorien und präsentieren bevorzugt jene Ergebnisse, die das eigene Portfolio am vorteilhaftesten erscheinen lassen. Für eine fundierte Kaufentscheidung reichen MLPerf-Ergebnisse allein daher nicht aus.
Empfehlung für die Praxis
Für Unternehmen, die aktuell KI-Infrastruktur evaluieren oder ausbauen, empfiehlt sich ein differenzierter Umgang mit den veröffentlichten Ergebnissen:
- Workload-Abgleich: MLPerf v6.0 liefert nützliche Anhaltspunkte – aussagekräftig werden die Zahlen jedoch erst, wenn sie mit den eigenen Workload-Profilen abgeglichen werden.
- Anwendungsfall zuerst: Wer vorwiegend Textzusammenfassungen oder klassische NLP-Aufgaben betreibt, sollte andere Teilbenchmarks priorisieren als Unternehmen mit Video- oder Bildverarbeitungsanforderungen.
- Eigenständige Tests: Proof-of-Concept-Tests auf repräsentativen Produktionsdaten bleiben der verlässlichere Maßstab gegenüber Herstellerangaben.
Quelle: The Decoder – MLPerf Inference v6.0: Nvidia, AMD und Intel melden Rekorde
