YouTube entwickelt eine Funktion mit künstlicher Intelligenz, um eine Lippensynchronisation für seine automatisch synchronisierten Videos zu erzeugen. Die Technologie zielt darauf ab, den Realismus zu verbessern, indem sie die Mundbewegungen eines Sprechers an die übersetzten Audiospuren anpasst, um das Engagement des Zuschauers zu erhöhen. Entsprechend Digitale TrendsDie technische Grundlage des Systems basiert, wie Buddhika Kottahachchi, YouTubes Produktleiter für Auto-Dubbing, detailliert beschreibt, auf einer maßgeschneiderten KI. Kottahachchi erklärte, dass die Technologie komplizierte Änderungen auf Pixelebene am Mund eines Sprechers auf dem Bildschirm vornimmt, um eine Synchronisierung mit dem synchronisierten Audio herzustellen. Das KI-Modell beinhaltet eine dreidimensionale Wahrnehmung von Gesichtsstrukturen und ermöglicht so die Analyse der Geometrie von Lippen und Zähnen. Es ist auch darauf ausgelegt, die mit der Sprache einhergehenden Gesichtsausdrücke zu interpretieren und zu reproduzieren. Dieser 3D-Modellierungsansatz ermöglicht es dem System, die physischen Bewegungen, die zum Sprechen in einer anderen Sprache erforderlich sind, genauer zu simulieren. In der Anfangsphase unterliegt die Lippensynchronisationsfunktion bestimmten technischen und sprachlichen Einschränkungen. Die KI-Verarbeitung ist derzeit auf Videos mit einer Auflösung von 1080p beschränkt und kann nicht auf 4K-Inhalte angewendet werden. Die Sprachunterstützung wird beim Start auf Englisch, Französisch, Deutsch, Portugiesisch und Spanisch beschränkt sein. Im Anschluss an diese Einführungsphase wurde YouTube plant, die Unterstützung auf mehr als 20 Sprachen auszuweiten. Diese Erweiterung soll die Lippensynchronisationsfunktion an die gesamte Palette der Sprachen anpassen, die derzeit vom automatischen Synchronisierungsdienst von YouTube angeboten werden. YouTube hat keinen festen Veröffentlichungstermin für die Funktion bekannt gegeben. Es wird erwartet, dass das Unternehmen die Technologie zunächst im Rahmen eines Pilotprogramms mit einer kleinen Gruppe von Entwicklern einführt, eine Strategie, die die Einführung der automatischen Synchronisierungsfunktion widerspiegelt. Dieser automatische Synchronisationsdienst wurde erst letzten Monat einem breiteren Publikum zugänglich gemacht, was darauf hindeutet, dass die Hinzufügung der Lippensynchronisation möglicherweise einer längeren Testphase unterzogen wird. Den Erstellern werden Steuerelemente zur Verwaltung der Nutzung zur Verfügung gestellt, einschließlich der gemeldeten Option, die Funktion für ihren gesamten Kanal oder für einzelne Videos zu deaktivieren, sodass sie das letzte Wort über die Präsentation ihrer Inhalte haben. Für die Funktion fallen möglicherweise zusätzliche Kosten an, ein konkreter Preis steht jedoch noch nicht fest. Es ist ungewiss, ob der Urheber oder der Verbraucher die Gebühr tragen wird, aber Berichten zufolge wird es wahrscheinlich der Verbraucher sein. Um potenziellem Missbrauch vorzubeugen, plant YouTube die Einführung von Schutzmaßnahmen. Dazu gehören eine beschreibende Offenlegung, um die Zuschauer über die KI-Änderung zu informieren, und ein unsichtbarer, dauerhafter Fingerabdruck, der in das Video eingebettet ist. Die Funktion dieses digitalen Wasserzeichens ähnelt SynthID, einem Tool zur Identifizierung von KI-generierten Inhalten, das einen Mechanismus zur Nachverfolgung und Authentifizierung bereitstellt. YouTube ist nicht die einzige Plattform, die diese Technologie entwickelt. Meta hat eine vergleichbare Initiative für seine Instagram-Plattform und startete dort letztes Jahr ein Pilotprogramm zur Synchronisierung und Lippensynchronisierung von Reels. Obwohl es nur begrenzte Angaben zum Erfolg des Programms gibt, wurde es kürzlich auf die Unterstützung von vier Sprachen erweitert: Englisch, Hindi, Portugiesisch und Spanisch. https://www.youtube.com/watch?v=8W3noE2Uxag
