Parcae: Neue LLM-Architektur erreicht doppelte Modellleistung bei halbem Parameterumfang
Forscher der University of California San Diego (UCSD) und des KI-Unternehmens Together AI haben eine neue Architektur für Large Language Models vorgestellt, die unter dem Namen Parcae firmiert. Das System soll die Qualität eines herkömmlichen Transformer-Modells doppelter Größe erreichen – bei deutlich reduziertem Parameterumfang. Die Veröffentlichung adressiert ein zentrales Problem sogenannter Looped Language Models, die bislang mit Instabilitäten im Training kämpften.