Ein Pharmakologe aus Florenz stellt im Fachjournal Nature eine unbequeme Frage, die die gesamte KI-Regulierungsdebatte auf den Kopf stellen könnte: Wenn wir KI-Systeme wegen mangelnder Erklärbarkeit kritisieren – warum messen wir das menschliche Gehirn nicht am selben Maßstab?
Wer versteht wen nicht? Die Intransparenz-Debatte um KI-Systeme neu bewertet
Das Argument gegen die „Black Box”-Metapher
Der Florentiner Pharmakologe Alfredo Vannacci hat in der aktuellen Ausgabe von Nature (Volume 652) einen kurzen, aber argumentativ dichten Beitrag veröffentlicht, der in der KI-Forschungsgemeinschaft Diskussionen auslöst. Seine Kernthese:
Die gängige Kritik an KI-Systemen als undurchschaubare „Black Boxes” beruht auf einem Doppelstandard – denn das menschliche Gehirn ist in keiner Weise transparenter.
Das menschliche Gehirn – mit rund 86 Milliarden Neuronen und einer Komplexität, die die Neurowissenschaft bis heute nicht vollständig kartieren kann – sei genauso undurchdringlich wie ein trainiertes neuronales Netzwerk. Dennoch vertrauen Unternehmen, Gerichte und Behörden täglich auf menschliche Urteile, ohne Erklärbarkeit einzufordern.
Zwei Systeme, unterschiedliche Maßstäbe
Vannaccis Argumentation trifft einen wunden Punkt in der aktuellen Regulierungsdebatte. Der EU AI Act, der seit Anfang 2024 schrittweise in Kraft tritt, stellt an KI-Systeme in Hochrisikobereichen strenge Anforderungen an Transparenz und Nachvollziehbarkeit von Entscheidungen. Vergleichbare formale Anforderungen an menschliche Entscheidungsträger – etwa in der Kreditvergabe, der Personalauswahl oder der medizinischen Diagnostik – existieren nicht in dieser Form.
Das bedeutet nicht, dass Erklärbarkeit bei KI-Systemen irrelevant wäre. Doch die Debatte könnte sich verschieben: weg von einem binären „erklärbar versus nicht erklärbar”, hin zu einer differenzierteren Frage:
Welches Maß an Nachvollziehbarkeit ist in einem konkreten Anwendungsfall erforderlich – und wie schneidet KI dabei im Vergleich zu menschlicher Expertise ab?
Implikationen für die Interpretierbarkeitsforschung
Der Beitrag erscheint zu einem Zeitpunkt, an dem Mechanistic Interpretability – der Versuch, die inneren Abläufe von KI-Modellen zu verstehen – erheblich an Fahrt gewonnen hat. Labore wie Anthropic, DeepMind und verschiedene akademische Gruppen arbeiten daran, einzelne Schaltkreise in Large Language Models zu identifizieren, die für bestimmte Verhaltensweisen verantwortlich sind.
Gleichzeitig zeigt die Kognitionswissenschaft, dass Menschen ihre eigenen Entscheidungsprozesse systematisch falsch erklären – ein Phänomen, das als Post-hoc-Rationalisierung gut dokumentiert ist.
Die Forderung nach vollständiger KI-Erklärbarkeit könnte damit einem Standard folgen, der selbst für biologische Intelligenz unerreichbar ist.
Sinnvoller wäre ein funktionaler Ansatz: Lässt sich das Verhalten eines Systems in definierten Szenarien zuverlässig vorhersagen und auditieren?
Einordnung für deutsche Unternehmen
Für Unternehmen, die KI-Systeme im Rahmen des EU AI Act einsetzen oder vorbereiten, hat diese Debatte unmittelbar praktische Relevanz. Statt auf vollständige Erklärbarkeit zu warten – die technisch möglicherweise nie im geforderten Umfang erreichbar sein wird –, empfiehlt sich ein risikobasiertes Vorgehen:
- Dokumentation von Trainingsdaten und Evaluierungsverfahren
- Regelmäßige Audits des Systemverhaltens
- Klare Prozesse für menschliche Überprüfung in kritischen Entscheidungssituationen
Die eigentliche Frage lautet nicht, ob ein KI-System vollständig transparent ist – sondern ob es nachweislich zuverlässiger und konsistenter entscheidet als die menschliche Alternative. Und ob diese Leistung dokumentierbar ist.
