Meta bringt Neurowissenschaft und Künstliche Intelligenz einen entscheidenden Schritt näher zusammen: Mit TRIBE v2 präsentiert das Unternehmen ein multimodales Brain-Encoding-Modell, das fMRI-Reaktionen des menschlichen Gehirns auf Video-, Audio- und Textstimuli gleichzeitig vorhersagen kann – ein Novum in der rechnergestützten Hirnforschung.
Meta veröffentlicht Gehirn-Encoding-Modell TRIBE v2 für multimodale Neurowissenschaft
Was TRIBE v2 leistet
Brain-Encoding-Modelle versuchen, die neuronalen Reaktionen des Gehirns auf äußere Reize rechnerisch zu modellieren. Konkret bedeutet das: Gegeben einen bestimmten Stimulus – etwa ein Filmausschnitt, ein gesprochener Satz oder ein Text – sagt das Modell vorher, welche Aktivierungsmuster in bestimmten Hirnregionen per funktioneller Magnetresonanztomographie (fMRI) messbar wären.
TRIBE v2 geht dabei über frühere Ansätze hinaus, die sich meist auf eine einzige Modalität beschränkten. Das Modell nutzt multimodale Repräsentationen aus vortrainierten KI-Systemen und verknüpft diese mit neuralen Antwortdaten aus fMRI-Studien. Separate Encoder für die jeweiligen Modalitäten liefern Ausgaben, die anschließend in ein gemeinsames Vorhersageframework zusammengeführt werden.
Die Architektur erlaubt es, sowohl modalitätsspezifische als auch modalitätsübergreifende Hirnaktivierungen zu modellieren – ein entscheidender Fortschritt gegenüber bisherigen Einzelansätzen.
Technischer Hintergrund und Datenbasis
TRIBE v2 baut auf großen Mengen öffentlich zugänglicher neurowissenschaftlicher Datensätze auf, die fMRI-Messungen von Probanden enthalten, die natürliche Medieninhalte konsumiert haben. Als Feature-Extraktoren kommen dabei Sprach- und Bildverarbeitungsmodelle zum Einsatz – darunter Architekturen aus dem Large Language Model- und Vision-Encoder-Bereich.
Ein zentrales Entwicklungsziel war die Verbesserung der Vorhersagegenauigkeit über verschiedene Hirnregionen hinweg, insbesondere in solchen, die für die Verarbeitung von:
- Bewegtbild (visueller Kortex)
- gesprochener Sprache (auditorische Areale)
- semantischen Inhalten (höhere Assoziationsareale)
zuständig sind. Meta betont dabei ausdrücklich, dass TRIBE v2 nicht nur in kontrollierten Laborumgebungen funktioniert, sondern auch mit reichhaltigen, naturalistischen Stimuli umgehen kann – also mit realitätsnahen Inhalten, wie sie im Alltag auftreten.
Einordnung in die KI-Forschungslandschaft
Die Veröffentlichung steht im Kontext eines wachsenden Forschungsfelds, das KI-Methoden und Neurowissenschaft enger miteinander verzahnt.
Gut kalibrierten Encoding-Modellen kommt eine Doppelrolle zu: Sie sind einerseits wissenschaftliche Werkzeuge der Grundlagenforschung, andererseits ein Gradmesser für die biologische Plausibilität von KI-Systemen.
Meta hat TRIBE v2 als Open-Source-Projekt zugänglich gemacht, was Forschungsgruppen außerhalb des Konzerns die Möglichkeit gibt, das Modell zu evaluieren, zu erweitern und auf eigene Datensätze anzuwenden. Die Veröffentlichung ist Teil von Metas breiterem Engagement in der KI-gestützten Neurowissenschaft, das über das FAIR-Forschungslabor vorangetrieben wird.
Relevanz für deutsche Unternehmen und Forschungseinrichtungen
Für deutsche Universitäten, Forschungsinstitute und Unternehmen in den Bereichen Medizintechnik, Human-Computer Interaction oder kognitiver KI bietet TRIBE v2 einen direkt nutzbaren Ausgangspunkt. Besonders profitieren können Akteure, die an folgenden Themen arbeiten:
- Brain-Computer Interfaces
- Adaptive Mediensysteme
- Bewertung von KI-Wahrnehmungsmodellen
Langfristig dürften solche Encoding-Modelle auch in regulatorischen und ethischen Debatten rund um KI-Systeme eine Rolle spielen – etwa wenn es darum geht, wie Mensch-Maschine-Schnittstellen auf neuronaler Ebene wirken.
