Netflix setzt neue Maßstäbe in der Postproduktion: Mit VOID stellt der Streaming-Gigant ein KI-System vor, das unerwünschte Objekte vollautomatisch aus Videomaterial entfernt – und damit einen der kostspieligsten Engpässe moderner Medienproduktion adressiert.
Netflix VOID: KI-gestützte Entfernung unerwünschter Objekte aus Videos
Netflix hat mit VOID (Video Object Inpainting and Deletion) ein System vorgestellt, das unerwünschte Objekte automatisch aus Videomaterial entfernt und die entstehenden Lücken durch KI-generierte Inhalte nahtlos auffüllt. Die Technologie kombiniert klassische Video-Segmentierung mit modernen generativen Modellen und adressiert damit einen bislang kostspieligem Engpass in der Postproduktion.
Wie VOID funktioniert
Die Pipeline von VOID gliedert sich in mehrere Schritte: Zunächst wird das zu entfernende Objekt – etwa ein Requisit, ein Wasserzeichen oder ein ungewolltes Hintergrundelement – durch Segmentierungsmodelle framegenau maskiert. Anschließend übernimmt CogVideoX, ein Large Language Model-basiertes Video-Generierungsmodell, die eigentliche Inpainting-Aufgabe.
Das Modell füllt die maskierten Bereiche mit visuell konsistenten Inhalten, die zum umgebenden Kontext passen – Frame für Frame, unter Berücksichtigung von Bewegung, Beleuchtung und Textur.
Ein zentrales Element ist das sogenannte Custom Prompting: Entwickler können dem Modell über Textbeschreibungen mitteilen, wie der entfernte Bereich ersetzt werden soll – etwa mit einer bestimmten Oberfläche, einem Hintergrundmuster oder dem zu erwartenden Umgebungshintergrund.
Das ermöglicht eine gezieltere Kontrolle über das Ergebnis, als es rein automatische Verfahren leisten könnten.
Technische Umsetzung und Reproduzierbarkeit
MarkTechPost beschreibt den Aufbau der Pipeline in Form eines reproduzierbaren Tutorials. Demnach lässt sich VOID auf Basis öffentlich verfügbarer Komponenten implementieren:
- CogVideoX steht über Hugging Face zur Verfügung
- SAM (Segment Anything Model) von Meta übernimmt die Maskengenerierung
- Die End-to-End-Inferenz – von der Eingabe des Originalvideos bis zur bereinigten Ausgabe – ist damit auch außerhalb von Netflix nachvollziehbar
Die Rechenanforderungen sind jedoch nicht trivial: CogVideoX benötigt für die Videogenerierung erhebliche GPU-Ressourcen. Für professionelle Anwendungsfälle dürfte Cloud-Infrastruktur die praktikablere Wahl sein.
Einsatzszenarien in der Medienproduktion
In der Praxis deckt VOID Anwendungsfälle ab, die bislang aufwendige manuelle VFX-Arbeit erforderten:
- Entfernen von Produktionsausrüstung aus dem Bild
- Bereinigen von Logos oder Markennamen aus lizenzierten Inhalten
- Aufbereitung von Archivmaterial
- Anpassung von Videoinhalten für verschiedene Märkte mit unterschiedlichen rechtlichen Anforderungen
Gerade das marktspezifische Entfernen von Schriftzügen hat für Streaming-Dienste mit internationalem Verbreitungsgebiet erhebliche praktische Bedeutung.
Einordnung für deutsche Unternehmen
Für deutsche Medien- und Produktionsunternehmen ist VOID vor allem als Richtungsindikator relevant: Agenturen, Broadcaster und Videoproduktionshäuser, die heute noch manuelle Rotoskopie- oder VFX-Arbeit für ähnliche Aufgaben einsetzen, sollten prüfen, ob KI-gestützte Pipelines diesen Prozess wirtschaftlich sinnvoll ersetzen können.
Die technischen Grundlagen – CogVideoX, SAM und vergleichbare Werkzeuge – sind bereits verfügbar. Der Aufwand liegt weniger in der Modelltechnologie selbst als im Aufbau stabiler, qualitätssichernder Produktionsprozesse drumherum.
