Netflix hat mit VOID ein KI-Modell als Open Source freigegeben, das Objekte mitsamt ihrer physikalischen Wechselwirkungen aus Videomaterial entfernt – und damit einen Prozess automatisiert, der in der Post-Production bislang tagelange Handarbeit erforderte.
Netflix veröffentlicht KI-Modell VOID für Videoobjekt-Entfernung als Open Source
Das KI-Team von Netflix hat ein Modell namens VOID (Video Object Inpainting and Deletion) als Open Source veröffentlicht, das Objekte aus Videomaterial entfernt – einschließlich ihrer physikalischen Wechselwirkungen mit der Umgebung. Das Modell adressiert damit ein Problem, das in der professionellen Post-Production bislang erheblichen manuellen Aufwand erforderte.
Was VOID leistet
Bisherige Werkzeuge zur Objektentfernung aus Videos konnten zwar einzelne Frames bearbeiten, scheiterten jedoch häufig an der zeitlichen Konsistenz: Schatten, Lichtreflexe oder Verformungen, die ein Objekt auf seiner Umgebung hinterlässt, blieben sichtbar oder wurden inkonsistent über die Framefolge hinweg behandelt.
VOID entfernt nicht nur das Objekt selbst, sondern auch dessen physikalische Einflüsse auf die Szene – Schatten, Beleuchtungsveränderungen und Kontaktpunkte – kohärent über die gesamte Videosequenz.
Das Modell nutzt eine Kombination aus Video-Diffusion und maskenbasierter Inpainting-Technik. Über eine Segmentierungsmaske wird das zu entfernende Objekt definiert; das Modell füllt anschließend die betroffenen Bereiche über die gesamte Videosequenz hinweg auf Basis des umgebenden Kontexts aus. Die zeitliche Konsistenz wird dabei durch einen spezifischen Trainingsansatz sichergestellt, der Sequenzen statt Einzelbilder als Trainingseinheit verwendet.
Technischer Hintergrund
VOID wurde auf einem synthetischen Datensatz trainiert, den das Netflix-Team eigens für diesen Zweck erstellt hat. Da reale annotierte Videodaten mit Ground-Truth-Hintergründen kaum verfügbar sind, generierten die Forscher Trainingspaare, bei denen Objekte digital in Szenen eingefügt und anschließend wieder entfernt wurden. Dieser Ansatz ermöglicht es dem Modell, die Aufgabe unter kontrollierten Bedingungen zu erlernen, bevor es auf echtes Material angewendet wird.
Die Architektur basiert auf einem vortrainierten Video-Diffusionsmodell, das für die Inpainting-Aufgabe feinabgestimmt wurde. Laut der Veröffentlichung erzielt VOID auf gängigen Benchmarks für Video-Inpainting messbar bessere Ergebnisse als bisherige Open-Source-Alternativen – insbesondere bei bewegten Objekten und dynamischen Hintergründen.
Open-Source-Strategie mit Kalkül
Die Entscheidung, VOID öffentlich zugänglich zu machen, fügt sich in ein Muster ein, das sich bei mehreren großen Technologieunternehmen beobachten lässt:
Werkzeuge, die intern bereits durch neuere Entwicklungen überholt wurden, werden als Open Source veröffentlicht, um Reputation in der Forschungsgemeinschaft aufzubauen und externe Weiterentwicklungen anzustoßen.
Netflix verfügt über interne Produktionsinfrastruktur, in der weiterentwickelte Versionen dieser Technologie bereits eingesetzt werden dürften. Für die breitere Entwicklergemeinschaft bedeutet die Veröffentlichung dennoch einen konkreten Zugewinn: Ein leistungsfähiges, frei verfügbares Modell für Video-Inpainting war bislang kaum vorhanden.
Einordnung für deutsche Unternehmen
Für Produktionsfirmen, Werbeagenturen und Medienunternehmen im deutschsprachigen Raum eröffnet VOID praktische Einsatzmöglichkeiten. Postproduktionsprozesse, die bislang manuelle Rotoskopierung und Frame-für-Frame-Bearbeitung erforderten – etwa das Entfernen von Produktionsrequisiten, unerwünschten Logos oder Störelementen aus Aufnahmen – lassen sich damit potenziell automatisieren.
Besonders für mittelständische Produktionsdienstleister, denen die Budgets für teure proprietäre VFX-Software fehlen, könnte das Modell eine praxisrelevante Alternative darstellen. Der Code ist über GitHub zugänglich; technische Ressourcen für den Betrieb – insbesondere leistungsfähige GPUs – bleiben jedoch eine Voraussetzung für den produktiven Einsatz.
Quelle: MarkTechPost
