Wie das dwerft- Forschungsbündnis den Strukturwandel der Film- und TV-Branche vorantreibt
Die Filmwelt scheint mit ihren digitalen visuellen Effekten und Streamingplattformen spätestens seit Werken wie Avatar oder Inception und Plattformen wie Netflix ein Vorreiter der Digitalisierung zu sein. Aber ist das tatsächlich so? Auch wenn man sich längst von 35 Millimeter verabschiedet hat und mit Bits und Bytes ganze Galaxien erschaffen kann: Die Produktionskette im Hintergrund verläuft alles andere als digital.
Das Forschungsprojekt dwerft – linked metadata for media will das ändern und forscht seit drei Jahren am Standort Babelsberg zu Metadaten und Künstlicher Intelligenz in der Film- und Fernsehbranche. Jetzt befindet sich das vom Bundesministerium für Bildung und Forschung geförderte Forschungsprojekt für innovative Medientechnologien in der Abschlussphase. Die Ergebnisse und erste Prototypen werden erstmals im Rahmen der MediaTech Hub Conference am 10. und 11. November in Potsdam vorgestellt.
„Was kommt nach der Künstlichen Intelligenz? Mit diesem Credo sind wir herangegangen.“ erklärt dwerft-Projektkoordinatorin Claudia Wolf den Ansatz. Künstliche Intelligenz (KI) wird bereits auf fertigen Content angewandt und kann zum Beispiel bei der Suche nach Bildmotiven, Tonsequenzen und Textteilen trainiert werden. Aber um die Suchalgorithmen richtig bedienen zu können, braucht es Metadaten. Und je besser diese aufbereitet sind, desto besser kann die KI sie auswerten. Dann erst lassen sich die audiovisuellen Wertschöpfungsketten voll ausnutzen und Produktionsprozesse gut automatisieren.
Wenn es um die Zukunft von Filmdistribution, Marketing und Automatisierung geht, sind die Metadaten also der entscheidende Faktor. Für die Endkund:innen sind sie relevant, wenn es um Filmvorschläge auf Streamingplattformen oder ganz spezifische Suchanfragen geht: Romantische Filme am Valentinstag GemütlicheHerbstfilme mit Szenen im Central Park,oder doch lieber die besten Filme mit Soundtrack zu Siebzieger Jahre Musik? Das alles lässt sich mit der richtigen Metadaten-Verknüpfung aufbereiten und anzeigen.
Automatisierte Produktionsprozesse und Distribution dank Metadaten
Wichtiger für die Filmproduktion sind allerdings die Metadaten, die bereits während des Drehs und in der Vorproduktion vorhanden sind. Schon ein Drehbuch enthält Informationen zu Schauspieler:innen, Kostüm, Uhrzeit, Wetter und Drehorten, die aber in der weiteren Produktion nicht mehr als aufbereitete Daten mitlaufen und oft verloren gehen. Diese Metadaten gilt es im Entstehungsprozess synchron richtig aufzubereiten, um sie später für die passende Verwertung zur Hand zu haben.
Claudia Wolf: „Momentan gibt es in den Produktionsphasen Datensilos, die eigentlich verknüpft werden müssten. Die dwerft-Lösung zielt drauf ab, Metadaten bereits während der Produktion abzuspeichern und für diese Daten einen geeigneten Wertschöpfungskreislauf zu erzielen. Unser Ziel ist die bestmögliche Aufbereitung, damit sie jederzeit allen Gewerken zur Verfügung gestellt werden können.“
Die Metadaten von Tonspuren, Kamerabild, Kostüm etc. sind erfasst, werden kategorisiert und übergreifend zusammengeführt. Um all diese Zusatzinformationen wirklich verwerten zu können, braucht es technische Verbindungen. Dafür hat das dwerft-Projekt Strukturen entwickelt und semantische Verbindungen erforscht. Die beteiligten Partner DRA Stiftung Deutsches Rundfunkarchiv, filmwerte GmbH, Interlake Media GmbH, Rotor Film und transfermedia production services haben ihre Expertise und teils eigene Software-Lösungen beigesteuert: das Deutsche Rundfunkarchiv zu Archivierung, filmwerte mit Video-on-Demand oder Rotor Film mit einem eigenen Plugin für die Postproduktion. Die Linked Media Data Cloud ist die Kerntechnologie, auf die weitere Softwarelösungen aufgesetzt werden können. Die Daten werden dort so gut abgebildet, dass je nach Zweck darauf zugegriffen werden kann – also eine Wissensdatenbank in der viel semantische Vorarbeit steckt.
Nutzung und Vermarktung von Musik und Social Media
Auf der MediaTech Hub Conference stellen die dwerft-Verantwortlichen zudem einen besonderen Case mit der GEMA vor. Filmmusik ist ein wichtiger Faktor bei Produktion und Verwertung von Filmen. Zum einen braucht es für den Soundrack die dazugehörigen Musikrechte, die bei der GEMA jeweils extra angefordert werden müssen. Dazu werden manuelle Auflistungen erstellt und eingereicht. Umgekehrt entstehen für Filme oft eigene Kompositionen, die wiederrum an die GEMA zur Rechteverwertung gehen. Zusammen mit der dwerft wurde daran gearbeitet, dass Produzent:innen zukünftig Musikquellen direkt über die Database der GEMA integrieren können, die ihnen alle nötigen Informationen zur Verfügung stellt. Jede Art von Musik wird mit einem bestimmten Timecode verbunden, um sie an der richtigen Stelle zu identifizieren. Etwas, das nun nicht mehr am Ende des Produktionsprozesses passieren muss, sondern direkt während der Entstehung automatisiert abläuft.
Metadaten während des Produktionsprozesses haben auch Einfluss auf zukünftige Film- und Fernsehproduktionen. Sogenannte Predictive Analytics, die auf Künstlicher Intelligenz basieren, schlagen automatisch Hauptdarsteller:innen und Locations vor oder stellen Vergleiche zu ähnlichen Filmen und deren Vermarktung an – noch bevor ein Dreh stattfindet. Darunter fällt auch Social Media Marketing. „Mit der Filmdistribution werden auf Social Media viele Daten erzeugt, die sich zum Beispiel um Regisseur:innen, Schauspieler:innen, Stories oder Drehorte drehen. Mit der Datenbank, unserer dwerft-Ontologie, vernetzten wir sie und bringen sie in eine strukturierte Form.“, so Claudia Wolf. Einen solchen Case und weitere Geschäftsprozesse rund um die Linked Media Data Cloud zeigt dwerft ebenfalls gemeinsam mit Kooperationspartner:innen auf dem Panel der MTH Conference im November 2021.
Zum Abschluss der Förderphase geht das Forschungsprojekt in die weite Welt und die einzelnen Prototypen werden bis zur Marktreife entwickelt. Vom 3. bis 6. Dezember 2021 ist das dwerft-Bündnis als Aussteller im German Pavilion auf der IBC Amsterdam vertreten.
Mehr über den MTH Blog
Die Medientechnologien der Zukunft werden bereits heute angewendet – nicht nur im Entertainmentbereich sondern in den unterschiedlichsten Branchen. Für unseren MediaTech Hub Potsdam Blog spricht Christine Lentz einmal im Monat mit Tech-Enthusiast:innen, Unternehmer:innen und Forscher:innen und erzählt die Geschichten, die hinter ihren innovativen Geschäftsmodellen, Ideen, Projekten oder Kooperationen stecken.