Ein Open-Source-Web-Agent des Molmo-Forschungsteams navigiert Websites allein durch visuelle Screenshot-Analyse – ohne je einen einzigen Zeile HTML-Code zu lesen. Kompakte Modellvarianten übertreffen dabei in Benchmarks teils deutlich größere proprietäre Systeme.
MolmoWeb: Open-Source-Web-Agent navigiert Websites per Screenshot-Analyse
Das Forschungsteam hinter dem Molmo-Modell hat mit MolmoWeb einen Web-Agenten veröffentlicht, der Websites ausschließlich auf Basis von Screenshots bedient – ohne Zugriff auf den zugrundeliegenden HTML-Code. Kompaktere Modellvarianten des Systems erzielen dabei in bestimmten Benchmarks vergleichbare oder bessere Ergebnisse als deutlich größere proprietäre Systeme.
Funktionsweise: Visuelle Steuerung statt DOM-Zugriff
Der klassische Ansatz für Web-Automatisierung setzt auf den direkten Zugriff auf das Document Object Model (DOM) einer Website – also die strukturierte, maschinenlesbare Darstellung der Seiteninhalte. MolmoWeb geht einen anderen Weg: Der Agent analysiert Screenshots des Browserfensters und leitet daraus ab, welche Elemente geklickt, ausgefüllt oder aufgerufen werden müssen, um eine gegebene Aufgabe zu erfüllen.
Ob eine Website mit React, Angular oder einfachem HTML gebaut wurde – für den Agenten ist das irrelevant, da er ausschließlich sieht, was auch ein menschlicher Nutzer sieht.
Dieser visuelle Ansatz hat einen entscheidenden praktischen Vorteil: Er funktioniert vollständig unabhängig vom technischen Aufbau der Zielseite.
Leistung im Benchmark-Vergleich
Laut den veröffentlichten Ergebnissen übertrifft MolmoWeb in bestimmten Testszenarien größere Closed-Source-Modelle. Die kompakten Varianten des Molmo-Modells, das ursprünglich vom Allen Institute for AI entwickelt wurde, wurden speziell für Web-Navigation feinjustiert. Konkrete Benchmarks zeigen, dass das System bei typischen Browser-Aufgaben solide Ergebnisse liefert:
- Formulare ausfüllen
- Navigationspfade folgen
- Informationen extrahieren
Die Veröffentlichung erfolgt unter einer offenen Lizenz, was bedeutet, dass Entwickler und Unternehmen den Agenten eigenständig betreiben und anpassen können. Das unterscheidet MolmoWeb von kommerziellen Alternativen wie dem Computer Use-Feature von Anthropic oder vergleichbaren Angeboten, die ausschließlich über kostenpflichtige APIs zugänglich sind.
Einordnung im wachsenden Markt für Web-Agenten
Web-Agenten, die Browser-Interaktionen automatisieren, sind ein aktives Entwicklungsfeld. Neben MolmoWeb arbeiten mehrere Unternehmen und Forschungsgruppen an ähnlichen Ansätzen:
- OpenAI hat mit dem Operator-Feature einen eigenen Browser-Agenten eingeführt
- Anthropic setzt mit Claude auf Computer Use
- Spezialisierte Startups wie Browserbase oder Playwright-basierte Lösungen adressieren den Markt aus einer Engineering-Perspektive
Der Screenshot-basierte Ansatz von MolmoWeb ist dabei nicht ohne Limitierungen:
Dynamische Inhalte, Overlays oder ungewöhnliche UI-Muster können die Erkennungsqualität beeinträchtigen – zudem ist die Latenz bei der Bildverarbeitung typischerweise höher als bei DOM-basierter Automatisierung.
Relevanz für deutsche Unternehmen
Für deutsche Unternehmen, die Prozessautomatisierung im Web-Kontext evaluieren, bietet MolmoWeb einen interessanten Ausgangspunkt – insbesondere dort, wo keine strukturierten APIs verfügbar sind und klassische RPA-Lösungen (Robotic Process Automation) an ihre Grenzen stoßen.
Der Open-Source-Charakter erlaubt den Betrieb in eigenen Infrastrukturen, was angesichts datenschutzrechtlicher Anforderungen unter der DSGVO ein nicht zu unterschätzender Faktor ist. Mittelfristig dürfte die Qualität dieser Screenshot-basierten Ansätze weiter steigen – Unternehmen sollten die Technologie beobachten und in Pilotprojekten für klar abgegrenzte, repetitive Web-Aufgaben testen.
Quelle: The Decoder
