Japanische Forscher zeigen: Die neue ModernBERT-Architektur schlägt klassisches BERT bei der automatisierten Klassifikation radiologischer Befundberichte – effizienter, schneller und auch in nicht-englischen Fachsprachen. Eine Studie mit direkter Relevanz für Gesundheits-IT-Entscheider weltweit.
ModernBERT übertrifft klassisches BERT bei der Auswertung radiologischer Befundberichte
Hintergrund: Automatisierte Befundklassifikation im Klinikbetrieb
In modernen Krankenhäusern fallen täglich tausende radiologische Berichte an. Die manuelle Kategorisierung dieser Dokumente – etwa zur Qualitätssicherung, Forschungsauswertung oder strukturierten Weiterverarbeitung – ist personalintensiv und fehleranfällig. Natural Language Processing (NLP)-Modelle auf Basis von BERT (Bidirectional Encoder Representations from Transformers) werden seit Jahren eingesetzt, um diese Texte automatisch zu analysieren und zu klassifizieren.
Das ursprüngliche BERT-Modell, 2018 von Google eingeführt, hat in der medizinischen Textverarbeitung breite Anwendung gefunden. Dennoch weist es strukturelle Einschränkungen auf – insbesondere bei der Verarbeitung längerer Texte sowie beim Rechenaufwand im Verhältnis zur erzielbaren Genauigkeit.
ModernBERT: Architektonische Weiterentwicklung mit praktischen Auswirkungen
ModernBERT, eine überarbeitete Encoder-Architektur, adressiert mehrere dieser Schwachstellen. Das Modell nutzt unter anderem Rotary Positional Embeddings (RoPE) und alternating Attention-Mechanismen, die es erlauben, längere Kontextfenster effizienter zu verarbeiten. Zudem wurde das Training auf einem deutlich größeren und vielfältigeren Datensatz durchgeführt.
Das Forscherteam um Yosuke Yamagishi und Kollegen vom University of Tokyo Hospital testete beide Modellvarianten an japanischsprachigen Thorax-CT-Berichten. Die Aufgabe bestand darin, klinisch relevante Befunde – etwa Lungenknoten, Pleuraergüsse oder Infiltrate – automatisch zu erkennen und zu klassifizieren.
ModernBERT erzielte bei vergleichbarer oder überlegener Klassifikationsgenauigkeit einen geringeren Rechenaufwand – mit kürzeren Inferenzzeiten und potenziell niedrigeren Infrastrukturkosten.
Das bedeutet in der Praxis: schnellere Verarbeitung und effizienterer Betrieb solcher Systeme im klinischen Alltag.
Sprachliche Spezifik als methodische Herausforderung
Die Studie ist auch deshalb bemerkenswert, weil sie in einem nicht-englischsprachigen, fachsprachlich hochspezialisierten Kontext durchgeführt wurde. Japanische Radiologieberichte folgen eigenen terminologischen Konventionen und syntaktischen Strukturen. Dass ModernBERT auch unter diesen Bedingungen belastbare Ergebnisse liefert, stärkt die Annahme, dass die architektonischen Verbesserungen sprachunabhängig wirken.
Für multilingual aufgestellte Gesundheitssysteme ist das ein relevanter Befund – Deutschland zählt mit seinen DRG-codierten Befundstrukturen, regionalen Dialekten in Sprachdiktaten und mehrsprachigen Patientenpopulationen zu den komplexeren Anwendungsumgebungen.
Einordnung für deutsche Gesundheits-IT-Entscheider
Für Krankenhäuser und Klinikverbünde in Deutschland, die NLP-gestützte Dokumentationstools evaluieren oder bereits im Einsatz haben, liefert die Studie ein klares Signal:
Die Wahl der Basisarchitektur hat messbare Auswirkungen auf Effizienz und Betriebskosten – und sollte bei jeder Beschaffungsentscheidung explizit geprüft werden.
Wer klinische Sprachmodelle – etwa für die automatisierte ICD-Kodierung, Befundstrukturierung oder Qualitätssicherung – plant oder beschafft, sollte ModernBERT-basierte Ansätze in die technische Evaluation einbeziehen. Anbieter medizinischer NLP-Lösungen, die noch auf ältere BERT-Varianten setzen, stehen unter zunehmendem Rechtfertigungsdruck, sofern neuere Architekturen bei gleichem oder geringerem Ressourceneinsatz bessere Ergebnisse liefern.
Quelle: Scientific Reports – Nature
