Google hat eine KI-gestützte Suchfunktion abgeschaltet, die medizinische Ratschläge aus Laienkommentaren und Forenbeiträgen synthetisierte – und damit Fehlinformationen zu Symptomen, Medikamenten und Behandlungen in Millionen Suchergebnisse speiste. Der Fall wirft grundlegende Fragen über Verantwortung, Qualitätssicherung und den Drang zur schnellen KI-Integration auf.
Google kippt KI-Suchfunktion nach medizinischen Fehlinformationen
Was hinter dem Feature steckte
Die abgeschaltete Funktion war Teil von Googles fortlaufendem Versuch, KI tiefer in die Suchergebnisse zu integrieren. Konkret griff sie auf nutzergenerierten Content zurück – also auf Laienkommentare, Forenbeiträge und ähnliches Material –, um bei medizinischen Suchanfragen synthetisierte Antworten zu generieren. Das klingt schon auf dem Papier problematisch. Und in der Praxis war es das auch.
Gesundheitsbehörden und Mediziner schlugen Alarm, als auffiel, dass das System Fehlinformationen zu Symptomen, Medikamentendosierungen und Behandlungsempfehlungen verbreitete – ohne dass Nutzer auf den ersten Blick erkennen konnten, dass die Quellen nicht medizinisch geprüft waren. Wer etwa nach Wechselwirkungen bestimmter Medikamente suchte, konnte Ratschläge erhalten, die im schlimmsten Fall gefährlich gewesen wären.
Das Vertrauen in KI-generierte Gesundheitsinfos steht auf dem Spiel
Das eigentliche Problem ist struktureller Natur. KI-Systeme, die auf Web-Daten trainiert werden oder diese aggregieren, können Wahrheit und Halbwahrheit kaum voneinander unterscheiden – erst recht nicht in einem Bereich, in dem Konsens oft komplex ist und sich Leitlinien regelmäßig ändern.
Medizinische Desinformation hat eine ganz andere Qualität als ein falsches Filmzitat.
Google hat den Rückzug des Features bislang ohne größere öffentliche Erklärung vollzogen. Branchenbeobachter werten das als implizites Eingeständnis, dass die Qualitätssicherung schlicht nicht ausreichte – und dass der Druck, KI-Features schnell auszurollen, in diesem Fall zu weit gegangen ist.
Kein Einzelfall
Google ist nicht das erste Technologieunternehmen, das in dieser Frage ins Stolpern gerät. Microsoft, Meta und andere haben ähnliche Erfahrungen gemacht, wenn KI-Systeme in sensiblen Bereichen wie Gesundheit, Recht oder Finanzen ohne ausreichende Absicherung eingesetzt wurden.
Das Muster ist dabei fast immer gleich: Feature launchen, Kritik kassieren, zurückrudern.
Was diesen Fall besonders pikant macht: Google hat in den vergangenen Jahren viel investiert, um als vertrauenswürdige Informationsquelle wahrgenommen zu werden – mit Fact-Checking-Initiativen, Qualitätssignalen im Ranking und expliziten Richtlinien für medizinische Inhalte (sogenannte YMYL-Seiten: „Your Money or Your Life”). Dass ausgerechnet ein eigenes KI-Feature diese Standards unterläuft, ist eine gewisse Ironie.
Was das für Unternehmen in Deutschland bedeutet
Für Entscheider hierzulande liefert dieser Fall ein konkretes Lehrstück. Wer KI-Systeme im eigenen Unternehmen einsetzt – etwa für Kundenberatung, interne Wissensdatenbanken oder automatisierte Antworten in sensiblen Bereichen –, sollte die Qualität der zugrundeliegenden Daten und die Überprüfbarkeit der Outputs nicht als nachrangige Frage behandeln.
Gerade im Kontext des EU AI Act, der Hochrisiko-Anwendungen im Gesundheitsbereich streng reguliert, kann unkontrolliertes KI-Output zu erheblicher rechtlicher und reputativer Haftung führen. Schnelligkeit beim Rollout ist kein Argument, das vor Gericht oder vor der Presse standhält.
Quelle: The Guardian
