Diese KI ermöglicht es Robert De Niro, Zeilen in einwandfreiem Deutsch auszuführen

Sprichst du mit mir … auf Deutsch?

Neu Deepfake-Technologie ermöglicht Robert De Niro, seine berühmte Linie von zu liefern Taxifahrerin einwandfreiem Deutsch, mit realistischen Lippenbewegungen und Gesichtsausdrücken. Die KI-Software manipuliert die Lippen und Gesichtsausdrücke eines Schauspielers, um die Sprache einer Person, die dieselben Zeilen in einer anderen Sprache spricht, überzeugend abzugleichen. das künstliche IntelligenzTechnologiebasierte Technologie könnte die Filmindustrie auf verführerische und beunruhigende Weise verändern.

Die Technologie bezieht sich auf Deepfaking, bei dem mithilfe von KI das Gesicht einer Person auf eine andere Person geklebt wird. Es verspricht den Regisseuren, Filme in verschiedenen Sprachen effektiv wieder aufzunehmen, wodurch ausländische Versionen für das Publikum weniger anstößig und originalgetreuer werden. Die Möglichkeit, das Gesicht eines Schauspielers so einfach automatisch zu ändern, könnte sich jedoch auch als kontrovers erweisen, wenn sie nicht mit Sorgfalt verwendet wird.

Die AI-Synchronisationstechnologie wurde von entwickelt Makellos, ein britisches Unternehmen, das vom Direktor mitbegründet wurde Scott Mann, der sagt, er habe es satt, in seinen Filmen schlechte ausländische Synchronisation zu sehen.

Nachdem er eine ausländische Version seines neuesten Films der Zeit gesehen hatte, RaubMann, der De Niro in der Hauptrolle spielt, ist bestürzt darüber, wie die Sprachausgabe sorgfältig gestaltete Szenen ruiniert hat. (Er weigert sich, die Sprache anzugeben.) Beim Überspielen muss der Dialog manchmal erheblich geändert werden, um ihn den Bewegungen der Lippen eines Schauspielers näher zu bringen. “Ich erinnere mich, am Boden zerstört zu sein”, sagt er. “Sie nehmen eine kleine Änderung an einem Wort oder einer Aufführung vor, es kann eine große Änderung an einem Charakter im Tempo der Geschichte und im Gegenzug am Film bewirken.”

Mann begann mit der Erforschung akademischer Arbeiten im Zusammenhang mit Deepfakes, zu denen er führte ein AI-Synchronisationsprojekt unter der Regie von Christian Theobalt, Professor am Max-Planck-Institut für Informatik in Deutschland. Die Arbeit ist anspruchsvoller als eine herkömmliche Deepfake. Es geht darum, die Mimik und Bewegungen eines Schauspielers in einer Szene sowie von jemandem festzuhalten, der die gleichen Zeilen in einer anderen Sprache spricht. Diese Informationen werden dann kombiniert, um ein 3D-Modell zu erstellen, das Gesicht und Kopf des Schauspielers mit den Lippenbewegungen des Dopplers verbindet. Schließlich wird das Ergebnis in einer Szene digital auf den Schauspieler gestickt.

Flawless wurde von Theobalts Projekt für sein Produkt inspiriert. Laut Mann befindet sich das Unternehmen in Gesprächen mit Studios über die Erstellung ausländischer Versionen mehrerer Filme. Andere fehlerfreie Democlips zeigen Jack Nicholson und Tom Cruise, die berühmte Zeilen von liefern Einige gute Männer auf Französisch und Tom Hanks spricht Spanisch und Japanisch in Szenen aus Forrest Gump.

“Es wird bald unsichtbar sein”, sagte Mann. “Die Leute werden sich etwas ansehen und sie werden nicht merken, dass es ursprünglich auf Französisch oder was auch immer gedreht wurde.”

Laut Mann untersucht Flawless auch, wie seine Technologie den Studios helfen kann, kostspielige Cover zu vermeiden, indem ein Schauspieler hinzugezogen wird, der neue Zeilen sagt. Aber er sagt, dass einige Schauspieler etwas instabil sind, wenn sie mit KI manipuliert werden. “Es gibt eine Angst und ein Wow – das sind die beiden Reaktionen, die ich immer wieder habe”, sagt er.

Virginie Gärtner, eine Schauspielerin, die in Manns neuestem Film die Hauptrolle spielt und dank Flawless-Software selbst Spanisch sprechen sah, scheint nicht übermäßig besorgt zu sein, obwohl sie davon ausgeht, dass AI-modifizierte Filme einen Haftungsausschluss enthalten würden. “Ich denke, das ist der beste Weg, um als Schauspieler Ihre Leistung zu bewahren”, sagt sie in einer anderen Sprache. “Wenn Sie Ihrem Regisseur vertrauen und davon überzeugt sind, dass dieser Prozess einen Film nur verbessern wird, habe ich damit wirklich kein Problem.”

KI-Videomanipulation ist umstritten – und das aus gutem Grund. Kostenlose Deepfake-Programme, mit denen das Gesicht einer Person leicht gegen eine andere Person in einer Videoszene ausgetauscht werden kann, haben sich mit Fortschritten in der KI vermehrt. Die Software identifiziert wichtige Punkte im Gesicht einer Person und verwendet maschinelles Lernen, um zu erfassen, wie sich das Gesicht dieser Person bewegt.

Die Technologie wurde verwendet, um gefälschte Promi-Pornos zu erstellen und Rache-Pornoclips für Frauen zu beschädigen. Experten befürchten, dass Fälschungen, die eine berühmte Person in einer kompromittierenden Situation zeigen, falsche Informationen verbreiten und die Wahl beeinflussen.

Standard-Gesichtsmanipulationen könnten sich in der Filmindustrie als kontrovers erweisen. Darryl Marks, Gründer von Maßgeschneiderte Unterhaltung, ein Unternehmen aus Tel Aviv, das an einem anderen AI-Synchronisationswerkzeug arbeitet, weiß nicht, wie einige Schauspieler auf eine Änderung ihrer Leistung reagieren könnten, insbesondere wenn nicht klar ist, dass dies von einem Computer durchgeführt wurde. “Wenn es einen sehr berühmten Schauspieler gibt, könnten sie ihn blockieren”, sagt er.

“Es gibt legitime und ethische Verwendungszwecke für diese Technologie”, sagt Duncan Crabtree-Ireland, General Counsel der Screen Actors Guild. “Ein Einsatz dieser Technologie sollte jedoch nur mit Zustimmung der betroffenen Künstler und mit angemessener und angemessener Entschädigung erfolgen.”

Hao liLaut Filmemachern und Produzenten, die sich auf die Verwendung von KI zur Gesichtsmanipulation spezialisiert haben, zeigen Filmemacher und Produzenten ein zunehmendes Interesse an Deepfakes und verwandten KI-Technologien. Das Erstellen eines Deepfakes erfordert normalerweise Stunden algorithmischer Verarbeitung, aber Li arbeitet an einem Film, in dem eine fortgeschrittenere Deepfake-Software es einem Regisseur ermöglicht, einen in Echtzeit transformierten Schauspieler zu sehen.

Laut Li ist die Situation ähnlich wie damals, als die Verwendung fotorealistischer Computergrafiken in den 2000er Jahren weit verbreitet wurde. Dank AI “will plötzlich jeder etwas tun”, sagte er.

Diese Geschichte erschien ursprünglich am wired.com.