PrfaaS: Cross-Datacenter-Architektur soll LLM-Betriebskosten deutlich reduzieren
Forscher von Moonshot AI und der Tsinghua-Universität haben eine neue Infrastrukturarchitektur namens PrfaaS vorgestellt, die …
LLM-Infrastruktur
Weiterlesen »
NVIDIA KVPress: Effizientere Speichernutzung beim Einsatz großer Sprachmodelle
NVIDIA hat mit KVPress ein Open-Source-Framework veröffentlicht, das den Speicherbedarf bei der Inferenz von Large …