Wenn Bilder fehlen oder unscharf sind, sollten KI-Systeme nachfragen – tun sie aber nicht. Ein neuer Benchmark legt offen, wie verbreitet das stille Raten bei multimodalen Sprachmodellen ist, und warum das für Unternehmen ein ernstes Risiko darstellt.
Neuer Benchmark deckt systematisches Rateverhalten bei multimodalen KI-Modellen auf
Ein neu veröffentlichter Benchmark namens ProactiveBench zeigt, dass multimodale Large Language Models bei unzureichenden oder fehlenden Bilddaten nicht nach Klärung fragen, sondern stattdessen Antworten generieren – auch wenn die visuelle Grundlage dafür fehlt. Von 22 getesteten Modellen zeigte keines ein nennenswertes proaktives Nachfrageverhalten.
Was ProactiveBench misst
Multimodale Sprachmodelle können Text und Bilder gleichzeitig verarbeiten. In der Praxis werden solche Systeme etwa für die automatisierte Qualitätsprüfung, die Analyse von Produktfotos oder die Auswertung medizinischer Aufnahmen eingesetzt. ProactiveBench untersucht gezielt, wie sich diese Modelle verhalten, wenn die visuelle Information unvollständig, verdeckt oder qualitativ unzureichend ist – Situationen, die im realen Einsatz regelmäßig auftreten.
Die Kernfrage des Benchmarks:
Erkennt ein Modell, dass es auf Basis der vorliegenden Bilddaten keine verlässliche Aussage treffen kann – und fordert es dann proaktiv weitere Informationen an? Oder produziert es dennoch eine Antwort?
Ergebnis: Raten statt Nachfragen
Die Auswertung fällt eindeutig aus. Nahezu alle 22 getesteten Modelle neigten dazu, auch bei visuell unzureichenden Eingaben Antworten zu liefern, statt auf die Einschränkungen hinzuweisen oder Rückfragen zu stellen. Dieses Verhalten entspricht dem bekannten Phänomen der Halluzination, allerdings in einer spezifischen Ausprägung: Die Modelle kompensieren fehlende Wahrnehmungsdaten mit sprachlich kohärenten, aber inhaltlich nicht belegbaren Ausgaben.
Ein System, das bei einem unscharfen Produktfoto trotzdem eine Fehlerklassifikation ausgibt, kann in automatisierten Prozessketten zu Fehlentscheidungen führen – ohne dass dies für den Anwender erkennbar ist.
Das ist insofern problematisch, als Nutzer in vielen Anwendungsszenarien davon ausgehen, dass ein Modell seine eigenen Grenzen kennt.
Reinforcement Learning als möglicher Lösungsansatz
Die Forschenden hinter ProactiveBench haben auch einen möglichen Ausweg erprobt: Ein einfaches Training mittels Reinforcement Learning soll Modelle dazu bringen, bei unzureichender visueller Information aktiv nachzufragen. Erste Ergebnisse zeigen, dass dieser Ansatz das Nachfrageverhalten messbar verbessern kann – ohne die allgemeine Modellleistung signifikant zu beeinträchtigen.
Das deutet darauf hin, dass das Problem weniger in der Architektur der Modelle liegt als im Trainingsverfahren: Aktuelle Modelle wurden primär darauf optimiert, Antworten zu produzieren – nicht darauf, Unsicherheit zu kommunizieren oder fehlende Informationen zu identifizieren.
Einordnung für Unternehmen
Für Unternehmen, die multimodale KI-Systeme in operative Prozesse integrieren oder dies planen, liefert ProactiveBench einen wichtigen Hinweis:
Die Fähigkeit eines Modells, korrekte Antworten auf vollständige Eingaben zu produzieren, sagt wenig darüber aus, wie es mit unvollständigen oder qualitativ minderwertigen Daten umgeht.
Standardisierte Benchmarks erfassen dieses Verhalten bislang kaum. Praktisch bedeutet das: Wer KI-gestützte Bildauswertung im Einsatz hat oder plant – etwa in der Produktion, Logistik oder im Dokumentenmanagement – sollte gezielt testen, wie die verwendeten Modelle auf degradierte oder unvollständige Eingaben reagieren.
Verlässlichkeit in realen Einsatzszenarien setzt voraus, dass Systeme nicht nur bei optimalen Bedingungen korrekt funktionieren, sondern ihre eigenen Grenzen erkennbar machen. Bis entsprechende Trainingsansätze breit verfügbar sind, bleibt menschliche Überwachung an kritischen Entscheidungspunkten ein notwendiges Element im System-Design.
Quelle: The Decoder