Ein israelisch-amerikanisches Startup verspricht, die brachliegende Rechenleistung bestehender GPU-Infrastrukturen durch reine Softwareoptimierung signifikant zu steigern – ohne einen einzigen neuen Chip kaufen zu müssen.
Niv-AI verlässt den Stealth-Modus: Mehr Leistung aus bestehenden GPUs herausholen
Das israelisch-amerikanische Startup Niv-AI tritt aus der Deckung – und verspricht Betreibern von KI-Infrastruktur deutlich mehr aus ihren bereits vorhandenen GPUs herauszuholen. Das Unternehmen hat nach einer Phase stiller Entwicklungsarbeit seine Technologie öffentlich vorgestellt, die ohne neue Hardware messbar höhere Recheneffizienz erzielen soll.
Das Problem: GPUs laufen selten auf Volllast
Wer größere KI-Workloads betreibt, kennt das Phänomen: Selbst hochwertige Nvidia-Chips werden in der Praxis oft nicht annähernd ausgelastet. Engpässe entstehen nicht selten durch schlecht koordinierte Arbeitslastverteilung, ineffiziente Speicherverwaltung oder suboptimale Kommunikation zwischen den einzelnen Prozessoren. Das kostet Geld – und zwar erheblich.
Rechenzentren weltweit geben Milliarden für GPU-Kapazitäten aus, die sie dann nur zu einem Bruchteil ausschöpfen.
Genau hier setzt Niv-AI an. Die Gründer – allesamt mit Hintergrund in Hochleistungscomputing und Systemprogrammierung – behaupten, durch eine tiefgreifende Optimierung auf Systemebene die tatsächlich genutzte GPU-Kapazität signifikant steigern zu können. Konkrete Zahlen nennt das Unternehmen mit Vorsicht, spricht aber von deutlichen Effizienzgewinnen gegenüber dem Status quo.
Softwareseitige Optimierung statt neuer Chips
Der Ansatz von Niv-AI ist im Kern ein Softwareprodukt – kein zusätzliches Silizium, keine proprietäre Hardware. Die Lösung greift auf einer niedrigen Systemebene ein: Sie optimiert, wie GPUs innerhalb eines Clusters Aufgaben aufteilen, wie Speicher allokiert wird und wie sich Inferenz-Workloads auf die verfügbaren Ressourcen verteilen. Damit richtet sich das Startup in erster Linie an Cloud-Anbieter, große Sprachmodell-Betreiber und Unternehmen, die eigene KI-Dienste im großen Maßstab ausrollen.
Der Markt für GPU-Optimierungssoftware ist nicht leer. Anbieter wie Run:ai oder Crusoe Energy arbeiten ebenfalls daran, die Lücke zwischen bezahlter und genutzter Rechenleistung zu schließen. Niv-AI positioniert sich mit dem Argument, tiefer in die Systemarchitektur einzugreifen als bestehende Lösungen – ob das in der Praxis hält, was die Präsentationsfolien zeigen, wird sich im Einsatz erweisen müssen.
Finanzierung und Team
Über die genaue Höhe der bislang eingesammelten Mittel schweigt sich Niv-AI noch aus. Bekannt ist, dass das Unternehmen Seed-Investoren gewonnen hat und sich nach eigenen Angaben in frühen Gesprächen mit potenziellen Enterprise-Kunden befindet. Das Gründerteam bringt Erfahrungen aus namhaften Technologieunternehmen mit – Hintergründe, die im hart umkämpften Infrastrukturmarkt zumindest als Vertrauensvorschuss gelten dürfen.
Einordnung für deutsche Unternehmen
Für deutsche Mittelständler und Konzerne, die KI-Anwendungen produktiv einsetzen oder in eigene GPU-Kapazitäten investieren, ist das Versprechen von Niv-AI durchaus relevant. Die Betriebskosten für Large Language Model-Infrastruktur – ob on-premise oder über Cloud-Anbieter abgerechnet – machen inzwischen einen spürbaren Posten in IT-Budgets aus.
Technologien, die bestehende Hardware besser auslasten, könnten konkrete Einsparungen bringen, ohne dass neue Investitionszyklen angestoßen werden müssen.
Allerdings gilt: Bevor sich solche Lösungen in Unternehmensumgebungen bewährt haben, ist Zurückhaltung bei vollmundigen Effizienzversprechen angebracht. Ein Pilotprojekt mit messbaren KPIs wäre der sinnvollste erste Schritt.
Quelle: TechCrunch
