PrismML Bonsai: 1-Bit-Quantisierung ermöglicht lokalen LLM-Betrieb auf Standard-Hardware
PrismML Bonsai ist ein Large Language Model, das auf dem 1-Bit-Quantisierungsansatz basiert und sich damit auch auf Consumer-GPU-Hardware mit begrenztem VRAM betreiben lässt. Das Modell richtet sich an Entwickler und Unternehmen, die Inferenz lokal ausführen wollen, ohne auf Cloud-Dienste angewiesen zu sein.