Die Band Linkin Park ist schon seit über 20 Jahren im Geschäft und sorgt auch nach dem Tod von Sänger Chester Bennington für Aufsehen. So veröffentlichte man im Februar 2023 den Track "Lost", der ursprünglich auf dem Album "Meteora" hätte erscheinen sollen. Das Besondere daran: Das dazugehörige Video wurde mit Hilfe einer generativen künstlicher Intelligenz namens Kaiber ertsellt, und so ist Bennington darin ebenso zu sehen wie die anderen Bandmitglieder.

Lost [Official Music Video] - Linkin Park
Linkin Park

Bei Kaiber kann ein Bild hochgeladen werden, das von der Software anschließend in ein Video verwandelt wird. Oder man verpasst existierenden Videos einen neuen Stil. Oder man beschreibt in einem Textbefehl ("Prompt"), was in dem Video zu sehe sein soll. Oder aber, so das Versprechen der Anbieter, man lädt einen Song hoch und lässt ein Video über eine KI-Audioanalyse erstellen.

Runway: KI-Tool für realistische Videos

Kaiber ist gut, hat aber den Nachteil, dass es sich mit photorealistischen Videos schwer tut, sagt Michael Katzlberger. Schon als Geschäftsführer der Agentur Tunnel 23 hatte er mit KI experimentiert, nun widmet sich der Experte als Selbständiger full-time der Bedeutung von künstlicher Intelligenz in der Kreativindustrie. Falls man lieber realistische Videos erstellen möchte, so empfiehlt Katzlberger das Tool Runway

Hatte sich die erste Version von Runway noch darauf konzentriert, bestehendes Material in adaptiertes Bewegtbild zu verwandeln, so gehen die Anbieter mit der zweiten Generation einen Schritt weiter: Runway Gen 2 soll auch das Erstellen von Videos über Textprompts ermöglichen. Das funktioniert laut Katzlberger teils bereits gut, kämpft aber noch mit Kinderkrankheiten: die Videos sind manchmal unscharf und müssen hochskaliert werden, und wie bei Bilder-KIs spuckt auch Runway manchmal Hände mit sechs Händen und Flugzeuge mit drei Flügeln aus.

Das Stilisieren eines Videos - etwa in das Format eines bewegten Gemäldes - funktioniere aber bereits gut, mit Runway ebenso wie mit Kaiber und dem kostenlosen, aber dafür in der Bedienung etwas sperrigeren EB Synth, so Katzlberger. 

Watch EbSynth bring paintings to life
Secret Weapons

Virtuelle Sprecher

An anderer Stelle wird damit experimentiert, menschliche Darsteller zu klonen und möglichst realistisch wirken zu lassen. Hier nennt Katzlberger das Tool D-ID. Dieses ermöglicht das Erstellen von Avataren, welches in Kombination mit Echtzeit-Gesichtsanimationen und Text-to-Speech-Funktionen realistisch wirkende Gespräche ermöglichen soll. 

D-ID Studio Walkthrough - Main Features
D-ID

Das Missbrauchspotenzial hinter einer solchen Technologie ist freilich groß – Stichwort: Deep Fakes und Desinformation. Diese Fakes erkennt man laut Katzlberger unter anderem daran, dass sie die sprechenden Personen tendenziell von vorne zeigen, denn mit Aufnahmen von der Seite tun sich die Systeme noch schwer. Auch hilft ein skeptischer Blick auf Ausleuchtung und Lichtverhältnisse: Stimmen diese nicht, so ist ein unnatürliches Flackern des Gesprächspartners ein Anzeichen für einen möglichen Deepfake.

Videos mit 360-Grad-Bildern erstellen

Generell, so Katzlberger, schießen die KI-Tools derzeit wie Pilze aus dem Boden, und auch auf Twitter posten Influencer regelmäßig Sammlungen von KI-Tools und den entsprechenden Ergebnissen. Interessierte sind gut beraten, ihrer Experimentierfreude freien Lauf zu lassen – so ist es etwa möglich, mit Tools wie Skybox AI von Blockade Labs ein 360-Grad-Bild per Prompt zu generieren, dieses auf dem Bildschirm anzuzeigen und anschließend via Screen Recording einen Kameraschwenk für das Video zu simulieren. 

Adobe Premiere mit Firefly

Klar ist allerdings auch hier, wie auch schon im Bildbereich, dass die Platzhirsche den Newcomern das Feld nicht kampflos überlassen werden. So sorgte Adobe zuletzt mit KI-Funktionen in seiner weit verbreiteten Bildbearbeitungssoftware Photoshop für Aufsehen, will diese aber auch in die Videoschnittsoftware Adobe Premiere integrieren. Eindrücke davon vermittelt das folgende Video: unter anderem können Musik und Geräusche ebenso wie B-Roll für Gegenschnitte via Prompt hinzugefügt sowie automatisch Transkripte erstellt werden. (stm, 10.6.2023)

Future Vision: Adobe Firefly for @AdobeVideo
Adobe