Ist von Tools die Rede, die dem Benutzer mithilfe von künstlicher Intelligenz (KI) unter die Arme greifen, dann denken die meisten nach wie vor an ChatGPT oder Midjourney. Über Chatbots und Bildgeneratoren hinaus gibt es aber eine Reihe weiterer Anwendungsbereiche, wo man mit KI-Unterstützung jetzt schon zu beeindruckenden Resultaten kommt. So sorgen derzeit KI-gestützte Übersetzungen für großes Aufsehen in sozialen Netzwerken: Eine neue Software zeigt, dass man in Zukunft mit wenigen Klicks in einer anderen Sprache kommunizieren kann – obwohl man sie gar nicht beherrscht.

Jon Finger, ein amerikanischer Regisseur und Influencer, hat vor kurzem ein Video veröffentlicht, in dem er eine solche KI-basierte Videoübersetzung testet. Auf der Kurznachrichtenplattform X erklärte er zunächst über seinem Video, dass er weder Französisch noch Deutsch spricht, und bat seine Follower, die Qualität der Übersetzung zu bewerten. Auch erwähnt er, dass die Konvertierung des Videos direkt auf seinem Smartphone nicht geklappt hat und er daher kurzfristig auf den Desktop ausweichen musste.

Im Video selbst zeigt er dann zunächst die Testaufnahme von sich selbst – und im Anschluss die Resultate, die das KI-Tool aus dem Video übersetzt hat. Finger spricht die gleichen Worte sowohl auf Französisch als auch auf Deutsch. Besonders beeindruckend daran ist die Tatsache, dass der Translator von Heygen die Lippenbewegungen des Sprechers optisch an die gesprochenen Laute anpasst.

Noch nicht perfekt

Die Resonanz auf das Video in den sozialen Medien war enorm. Innerhalb kürzester Zeit wurde das Video sechs Millionen Mal angezeigt sowie tausende Male geteilt, kommentiert und gelikt. Die Reaktionen reichten von ungläubigem Staunen bis zu begeisterten Kommentaren – einige Nutzer wiesen auch darauf hin, dass die Stimme in der Übersetzung noch etwas mechanisch klinge.

Dass der Übersetzer nicht perfekt arbeitet, sollte man spätestens daran erkennen, dass "There we go" am Ende des englischen Samples ins Deutsche mit "Da gehen wir" übersetzt worden ist. Auch dürfte die Software deutlich an der Helligkeit der Testaufnahme geschraubt haben, denn das Ausgangsvideo erscheint deutlich dunkler als die nachbearbeiteten Übersetzungen.

So klingt Marques Brownlee auf Spanisch

Wie man beliebige Personen relativ einfach eine fremde Sprache sprechen lassen kann, zeigt Heygen auch in einem eigenen Video. In diesem spricht der prominente Tech-Youtuber Marques Brownlee auf einmal Spanisch oder Milliardär Elon Musk Französisch. Alles, was man dafür tun muss, ist lediglich, ein Video hochzuladen und die gewünschte Sprache auszuwählen.

Apropos Auswahl: Derzeit befindet sich der Translator von Heygen noch in einer Betaphase und unterstützt daher nur eine begrenzte Anzahl an Sprachen. Anfangs kann das System Videos in zehn Sprachen (Englisch, Spanisch, Französisch, Chinesisch, Deutsch, Italienisch, Portugiesisch, Niederländisch, Hindi und Japanisch) entgegennehmen. Die Übersetzungsfunktion ist auf acht Sprachen beschränkt (Englisch, Spanisch, Französisch, Hindi, Italienisch, Deutsch, Polnisch und Portugiesisch). Schenkt man dem Entwickler Glauben, soll die Sprachauswahl in den nächsten Wochen deutlich erweitert werden.

Technische Einschränkungen

Um gute Ergebnisse zu erzielen, empfiehlt Heygen die Verwendung von MP4-, Quicktime- oder Webm-Videos mit einer Länge von mindestens 30 Sekunden, länger als 20 Minuten darf das Ausgangsmaterial derzeit auch noch nicht sein. Der Entwickler merkt zudem an, dass in jeder Videosequenz nur das Gesicht einer einzigen Person klar und aus nur einer Perspektive zu sehen sein sollte. Hintergrundlärm und Musik können die Qualität der Übersetzung natürlich beeinträchtigen, das Video von Finger stellt aber unter Beweis, dass sich auch so recht passable Ergebnisse erzielen lassen.

Wer das Tool selbst ausprobieren möchte, erhielt zuletzt nach einer Anmeldung eine Minute Videoübersetzung kostenlos, danach wird es richtig teuer: Für die monatlichen Abo-Modelle geht es bei 24 Dollar für 15 Minuten Bearbeitungszeit los. Eine Grenze nach oben gibt es offenbar nicht, da es auch flexible Jahres-Abos in Absprache mit dem Entwickler gibt.

Das Tool von Heygen liefert jetzt schon einen Vorgeschmack darauf, was in Zukunft möglich sein wird. Es ist nur eine Frage der Zeit, bis solche KI-Tools breiter verfügbar und vor allem auch in Echtzeit nutzbar sein werden. Sie haben das Potenzial, Barrieren zu überwinden und globale Kommunikation zu revolutionieren. Gleichzeitig wird es natürlich auch wichtig sein, die potenziellen Risiken und ethischen Implikationen solcher Technologien nicht aus den Augen zu verlieren. (bbr, 13.9.2023)