Hmm, diese ID ist verboten. Ich wähle eine andere:
Ein experimentelles Open-Source-Modell, zusammengeschmiedet aus Claude Opus, GLM und Qwen, schlägt auf gängigen Benchmarks etablierte kommerzielle Systeme – und zeigt, wie die Community die KI-Landschaft ohne Milliarden-Budgets verändert.
Model Merging: Hybrid aus Claude Opus, GLM und Qwen übertrifft führende Benchmarks
Ein experimentelles Open-Source-Modell, das durch das Zusammenführen mehrerer etablierter Large Language Models entstanden ist, erzielt auf gängigen Leistungsmessungen Ergebnisse oberhalb bekannter kommerzieller Systeme. Das Projekt zeigt, wie Community-Entwickler durch sogenanntes Model Merging erhebliche Leistungsgewinne erzielen können – ohne proprietäre Trainingsdaten oder Rechenbudgets in Milliardenhöhe.
Vom Finetuning zum Frankenmerge
Ausgangspunkt war die Arbeit des Entwicklers Jackrong, der zunächst zwei separate Finetuning-Versionen des chinesischen Basismodells Qwen erstellte und dabei Stilmerkmale von Anthropics Claude Opus sowie dem GLM-Modell von Zhipu AI einarbeitete. Diese sogenannten „Qwopus”-Varianten wurden anschließend von Kyle Hessling in einem weiteren Schritt zu einem einzigen Modell zusammengeführt – einer Methode, die in der Open-Source-Community als „Frankenmerge” bezeichnet wird.
Das Verfahren kombiniert die Gewichtsmatrizen mehrerer Modelle auf Parameterebene, ohne erneutes Training an neuen Datensätzen. Die Technik ist nicht neu, gewinnt aber an Bedeutung, weil leistungsstarke Basismodelle zunehmend offen verfügbar sind und sich als Ausgangsmaterial eignen.
Model Merging demokratisiert KI-Entwicklung: Statt eigener Rechenzentren genügt Know-how über Gewichtsarchitekturen – und die wachsende Bibliothek offener Basismodelle.
Stabilisierung durch Modellheilung
Ein bekanntes Problem bei aggressiven Merges ist die sogenannte Kohärenz-Degradation: Das zusammengeführte Modell verliert an Konsistenz, erzeugt inkohärente Ausgaben oder bricht bei komplexen Aufgaben ein. Hessling begegnet diesem Problem mit einem als „Model Healing” bezeichneten Nachbearbeitungsschritt, bei dem das Modell auf kuratierten Datensätzen weiter angepasst wird, um interne Widersprüche zwischen den zusammengeführten Gewichten auszugleichen.
Das resultierende Modell – öffentlich unter dem Namen Qwopus verfügbar – soll laut Community-Benchmarks auf Aufgaben aus den Bereichen Reasoning, Instruktionsbefolgung und mehrsprachigem Verständnis mit kommerziellen Frontier-Modellen mithalten oder diese in einzelnen Kategorien übertreffen.
Verfügbarkeit und technische Rahmenbedingungen
Das Modell steht kostenfrei über Hugging Face zum Download bereit und kann lokal betrieben werden, sofern ausreichend GPU-Kapazität vorhanden ist. Für Unternehmensumgebungen gelten je nach Quantisierungsstufe folgende Mindestanforderungen:
- Consumer-GPU: 24 GB VRAM (z. B. RTX 4090)
- Leistungsstarke Systeme: Mehrfach-GPU-Setup für unkomprimierte Varianten
⚠️ Lizenzhinweis: Da das Modell auf Gewichten basiert, die Ableitungen kommerziell genutzter Modelle sind, ist eine sorgfältige Prüfung der jeweiligen Nutzungsbedingungen notwendig. Qwen unterliegt der Qianwen-Lizenz; Claude-Finetuning-Derivate bewegen sich in einer rechtlich weniger eindeutig geklärten Zone.
Einordnung für den deutschsprachigen Markt
Für Tech-Entscheider in der DACH-Region ist das Projekt aus zwei Perspektiven relevant:
1. Schrumpfende Leistungslücke: Die Ergebnisse belegen, dass Open-Source-Systeme zunehmend mit geschlossenen kommerziellen APIs gleichziehen – ein starkes Argument für Unternehmen, die aus Datenschutz- oder Kostengründen auf lokal betriebene Modelle setzen wollen.
2. Steigende Evaluationskomplexität: Community-Benchmarks sind kein Ersatz für aufgabenspezifische Tests im eigenen Geschäftskontext. Die Bewertung solcher Modelle erfordert wachsendes Fachwissen.
Wer Model Merging als Entwicklungsansatz intern verfolgen möchte, sollte frühzeitig die Rechtslage hinsichtlich abgeleiteter Modellgewichte klären – ein Bereich, in dem regulatorische Klarheit in der EU noch aussteht.
Quelle: Decrypt AI – „Frankenstein AI: Claude Opus, GLM & Qwen – Free”