Rapunzel, Moana, Frozen – mit seinen Märchenumsetzungen und Eigenkreationen hat Disney schon so manche Herzen von Kindern und Junggebliebenen erquickt. Ein wichtiger Teil dieses Erfolges ist dabei auch der recht einzigartige Stil der 3D-Animationsfilme. Nicht umsonst gibt es mittlerweile zahlreiche Apps, die versprechen, das eigene Antlitz zu einem "toonifizierten" Avatar zu machen – meist allerdings mit überschaubar gutem Ergebnis.
Wie es aussieht, wenn sich Profis dieser Aufgabe widmen, zeigen nun Forscher der Universität Tel Aviv. Im Rahmen ihres Projekts "Restyle" haben sie das für solche Aufgaben optimierte neuronale Netzwerk Style GAN von Nvidia aufgemotzt. Style GAN ist sehr gut darin, etwa die Eigenschaften von Gesichtern über Trainingsdaten zu erlernen und dann selbst welche zu erzeugen, die sich oft auf den ersten Blick nicht von echten Fotos unterscheiden lassen. Wie gut diese Technologie funktioniert, beweist etwa die Website This Person Does Not Exist.
Wie der an der TU Wien promovierte Grafikspezialist Károly Zsolnai-Fehér auf seinem Youtube-Kanal Two Minute Papers berichtet, betten die Forscher Bilder in sogenannten "Latent Space" ("latenter Raum") ein, in dem Daten nach ihrer Ähnlichkeit zueinander angeordnet sind, was die gezielte Manipulation verschiedener Eigenschaften erleichtert.
Weniger Informationsverlust im latenten Raum
Als Beispiel zum Verständnis des Konzepts wird das Projekt Font Manifold von Forschern des University College London angeführt. Auf dessen Website kann die Manipulation von Schrifteigenschaften in einem Latent Space ausprobiert werden. In diesem Schritt können aber manche Informationen verloren gehen, sodass sich etwa bei der Neuerstellung eines Porträtfotos durch die KI plötzlich die Augenfarbe ändert oder ein Bart fast verschwindet. Hier wurde aber ein neues Verfahren implementiert, das diese Verluste deutlich minimiert.
Als Ergebnis bietet das verbesserte "Toonification"-Verfahren erheblich bessere Ergebnisse als bisherige Ansätze. Probleme gibt es allerdings mit der KI unbekannten Elementen, etwa Sonnenbrillen. Überlegen ist es auch bei anderen Aufgaben, die Style GAN lösen kann. Dazu zählt die Manipulation von Gesichtern, etwa indem man Personen lachen lässt oder sie älter beziehungsweise jünger macht. Beeindruckende Ergebnisse werden auch bei der Synthetisierung von Tiergesichtern, Autos oder Gebäuden erzielt. (gpi, 19.5.2021)