Wie „Hero“ den Fremdsprachenmarkt durch KI ankurbeln kann

Da immer mehr Zuschauer internationale TV-Shows und Filme in Live-Übertragungen sehen, hat das in Israel ansässige Unternehmen Adapt Entertainment einen Programmierweg gefunden, um mit allen zu sprechen – buchstäblich.

Der Gründer des Unternehmens, Daryl Marks, sagt, dass sich Fans oft über die schlechte Synchronisation einer Show oder eines Films beschweren. Die Adapt-Technologie kombiniert künstliche Intelligenz und visuelle Effekte, um Filmdialoge nahtlos in Englisch und andere Sprachen umzuwandeln.

In jüngerer Zeit wurde die Technik in der englischen Übertragung von Maciej Barczewskis Film „The Champion“ verwendet – in dem es um einen Kämpfer geht, der seine Kämpfe gewinnen muss, um in Auschwitz zu überleben – und der später in den USA veröffentlicht werden soll.
Allgemeines. Barczewski nennt die Technologie einen „Game-Changer“. Der Originalfilm in Polnisch und Deutsch; Der Regisseur wollte auf Englisch drehen, hatte aber nicht das Budget dafür.

Mike Seymour, Visual Effects Supervisor des Films und technischer Berater für Adapt, erklärt die Arbeit und Synchronisierung, nachdem das Bild gesperrt wurde.

Die Neuaufnahme wird normalerweise von Synchronsprechern durchgeführt, aber in diesem seltenen Fall konnte Barczewski die Besetzung zurückholen, um die Dialogspur auf Englisch neu aufzunehmen. Die Spur wurde dann synchronisiert und vollständig mit dem Originalfilm verarbeitet, wobei die KI-Neural-Display-Technologie auf Basis des Softwaresystems PLATO (Physics Learning through Auto Encoder and Object Tracking) verwendet wurde.

Seymour erklärt den Prozess: „Der Computer studiert das Gesicht des Schauspielers im Film und auch das Filmmaterial, das bei der Neuaufnahme des neuen Dialogs aufgenommen wurde. Dann ersetzte der gesamte Film mithilfe von Fortschritten in der künstlichen Intelligenz und im maschinellen Lernen das Gesicht des Schauspielers, das auf Englisch sprach. Es ist alles visuell von Schauspielern aufgebaut, die Dialogue in einem Tonstudio aufnehmen.

Dank der kombinierten Bemühungen von künstlicher Intelligenz und visuellen Effekten von PLATO bleibt der ursprüngliche Performance-Subtext erhalten. „Wir müssen ihrer Leistung treu bleiben, nicht zufälligen technischen Spezifikationen“, sagt Seymour.

Operation „Hero“ dauerte insgesamt drei Monate, davon eine Woche für die Schauspieler
Neuaufnahme ihrer Dialogspuren, wodurch die Kosten pro Aufnahme für groß angelegte Dialogersetzungen erheblich gesenkt werden.

Seymour merkt an, dass das Unternehmen nicht die Absicht hat, die Übersetzung zu ersetzen. „Diese sind für Hörgeschädigte von unschätzbarem Wert“, sagt er. Stattdessen zielt Adapt darauf ab, „die Welt ausländischer Filme zu öffnen, ohne den Zuschauer aus dem Kinoerlebnis herauszunehmen, und dies auf eine Weise, die darauf ausgelegt ist, die schauspielerischen Entscheidungen der Schauspieler und die Absicht der Drehbuchautoren und Schöpfer zu respektieren. Die Vision des Regisseurs.“