DeepMind stellt verteiltes Trainingsverfahren für Large Language Models vor
Google DeepMind hat ein neues Verfahren namens „Decoupled DiLoCo” veröffentlicht, das das Training großer KI-Modelle über geografisch verteilte Rechenzentren hinweg effizienter und widerstandsfähiger gegen Ausfälle machen soll. Die Methode baut auf dem bestehenden DiLoCo-Ansatz auf und adressiert einen der zentralen Engpässe beim Skalieren von KI-Infrastruktur: die Abhängigkeit von schnellen, durchgehend stabilen Netzwerkverbindungen zwischen Rechenknoten.