Netflix öffnet die Technologie hinter seinem internen VFX-Werkzeug VOID: Das KI-Framework entfernt Objekte aus Videos – und denkt dabei in Physik, nicht nur in Pixeln.
Netflix veröffentlicht Open-Source-Tool VOID zur physikbewussten Objektentfernung aus Videos
Netflix hat ein KI-Framework namens VOID als Open-Source-Projekt veröffentlicht, das Objekte aus Videomaterial entfernt – und dabei nicht nur die visuelle Lücke schließt, sondern auch physikalische Folgeeffekte wie Kollisionen oder Bewegungsverläufe korrigiert. Das Tool richtet sich an Postproduktions-Workflows, bei denen eine einfache Retusche nicht ausreicht.
Was VOID leistet
Herkömmliche Inpainting-Werkzeuge ersetzen entfernte Bildbereiche durch synthetisch generierte Pixel, ohne den physikalischen Kontext der Szene zu berücksichtigen. VOID geht einen Schritt weiter:
Das Framework analysiert, wie das entfernte Objekt mit seiner Umgebung interagiert hat – ob es andere Elemente verdeckt, angestoßen oder durch Reflexionen beeinflusst hat – und passt diese Folgeeffekte im verbleibenden Material entsprechend an.
Ein typisches Anwendungsbeispiel wäre das Entfernen eines Requisiten-Gegenstands, der in einer Szene mit anderen Objekten kollidiert, ohne dabei Inkonsistenzen im Bewegungsablauf zu hinterlassen.
Technischer Hintergrund
Netflix hat VOID intern entwickelt und für eigene Produktionen eingesetzt, bevor das Unternehmen den Code öffentlich zugänglich machte. Das Framework setzt auf bestehenden Methoden des Video-Inpaintings auf, ergänzt diese jedoch um eine Komponente zur physikalischen Konsistenzprüfung.
Details zur genauen Modellarchitektur und den verwendeten Trainingsdaten hat Netflix in begleitenden Dokumenten beschrieben. Der Quellcode ist auf GitHub verfügbar.
Einordnung in den Markt
Im Bereich der KI-gestützten Videobearbeitung hat sich in den vergangenen zwei Jahren ein dichtes Feld an Anbietern entwickelt – von spezialisierten Postproduktions-Startups bis hin zu integrierten Funktionen in etablierten Schnittsoftware-Paketen.
Was VOID von vielen kommerziellen Lösungen unterscheidet, ist die explizite Berücksichtigung physikalischer Interaktionen, die bislang manuelle Nachbearbeitung durch VFX-Artists erforderte. Durch die Open-Source-Veröffentlichung können Entwickler das Framework in eigene Pipelines integrieren oder für spezifische Anwendungsfälle anpassen.
Relevanz für deutsche Unternehmen
Für deutsche Medienunternehmen, Werbeagenturen und Produktionshäuser, die regelmäßig Videomaterial nachbearbeiten, bietet VOID einen praxisnahen Ansatzpunkt. Das Tool könnte vor allem in der Werbeproduktion Aufwand reduzieren, wenn nachträglich Produktplatzierungen, Markenzeichen oder störende Objekte aus bereits abgedrehtem Material entfernt werden müssen.
Da der Code frei zugänglich ist, entfallen Lizenzkosten – allerdings setzt eine produktive Integration technisches Know-how in den Bereichen Machine Learning und Videoinfrastruktur voraus.
Mit der Veröffentlichung von VOID unterstreicht Netflix seinen Anspruch, nicht nur Inhalte zu produzieren, sondern auch als Technologieanbieter wahrgenommen zu werden – ähnlich wie das Unternehmen es bereits mit anderen Open-Source-Projekten aus dem Bereich Datentechnik getan hat. Für die Branche dürfte das Framework vor allem als Referenzimplementierung von Bedeutung sein, an der sich kommerzielle Produkte in den kommenden Monaten messen lassen müssen.
Quelle: The Decoder
