"Es arbeitet mit seinen Fehlern und passt seine Ziele an", sagt Peter Schaldenbrand, PhD-Student an der Carnegie Mellon University, über deren neueste Erfindung. Die Rede ist von Frida, einem System, das erstmals eine Schnittstelle zwischen künstlicher Intelligenz und greifbarer Kunst bildet. Frida steht für "Framework and Robotics Initiative for Developing Arts" und ist außerdem eine Hommage an Frida Kahlo, die berühmte mexikanische Malerin und Vertreterin des Surrealismus.

Frida – die einarmige Künstlerin

Die neuartige Frida hat aber optisch nichts mit ihrer Namensvetterin mit den markanten Augenbrauen gemein: Es handelt sich um einen Roboterarm, an dem ein Pinsel befestigt wurde. Auch "denkt" sich Frida die Ideen für Motive nicht selbst aus. "Es ist ein Malroboter, aber Frida ist kein Künstler", sagt Schaldenbrand. Hier braucht es nach wie vor den Menschen, der den Roboterarm mit Text- oder Bildvorgaben zum Leben erweckt und ihm die entsprechende Grundlage für das nächste Kunstwerk liefert.

Bilder, Text, aber auch Musik dienen als Vorlage

Ähnlich wie die generativen Computermodelle Dall-E, Midjourney oder Stable Diffusion arbeitet auch Frida mit Textvorgaben ("prompts"). Allerdings können zusätzlich auch Fotos oder Musik als Vorlage genutzt werden. So könne man dem Roboter beispielsweise bestimmte Stile vorgeben oder Fotos in echte Gemälde verwandeln lassen. Auch mit Audio-Inputs experimentiert das Team – in einem Versuch habe man Frida bereits Abbas "Dancing Queen" vorgespielt und den beliebten Song von dem Roboterarm malen lassen.

Vom digitalen Raum in die Realität

Im Gegensatz zu anderen generativen Bilder-KIs überwindet Frida erstmals die Schwelle der Realität – denn während die Erstellung digitaler Bilder einigermaßen "berechenbar" ist und nur auf Pixel-Ebene stattfindet, haben Farben und Pinsel bestimmte physikalische Eigenschaften, die das Computermodell erst lernen und richtig einsetzen muss.

Während seiner Schaffensphase lernt der Roboterarm – beziehungsweise das diesem zugrunde liegende Computermodell – kontinuierlich dazu. Zum Farbenmischen braucht der Malroboter übrigens noch menschliche Unterstützung.

Jeder Strich eine Erkenntnis

Im Video sieht man, wie das System erst den Umgang mit dem Pinsel erlernt, einzelne Probestriche macht und diese mithilfe einer Kamera analysiert. Wie ein Mensch bewertet Frida jeden Pinselstrich, experimentiert mit Farben, Anpressstärke und Intensität, um diese dann gezielt einsetzen zu können. Danach ist es bereit, die Arbeitsaufträge, die es mittels Text- oder Bildvorgabe erhält, auszuführen.

Dabei kommen ähnliche KI-Modelle wie auch bei den oben genannten Bildgeneratoren zum Einsatz (sogenannte "Vision-Language-Models"), die mit Sprache und Bildern trainiert wurden und aus verschiedenen Prompts neue Kunstwerke schaffen können.

Multikulturelle Trainingsdaten

Das Team versucht außerdem, die Einschränkungen aktueller Computermodelle zu überwinden. Um der "Voreingenommenheit", für die viele KIs derzeit kritisiert werden, vorzubeugen, trainiere man Frida mit Schlagzeilen verschiedenster Zeitungen, damit es "ein Gefühl bekommt, was sich in der Welt tut", heißt es auf der Seite der Carnegie Mellon University.

Auch sonst achte man beim Trainingsmaterial darauf, Bilder und Texte aus verschiedensten Kulturen zu verwenden, um der KI keine rein "amerikanische" oder "westliche" Weltanschauung anzulernen. Hierfür wurde ein eigenes Team, geleitet von Zhixuan Liu und Beverley-Claire Okogwu, zusammengestellt, das sich um die Berücksichtigung von Daten aus China, Japan, Korea, Mexiko, Nigeria, Norwegen, Vietnam und anderen Ländern kümmert.

Heute surreale Malkunst, morgen Bildhauerei?

Die Endergebnisse erinnern an ein Fingerfarbenkunstwerk und setzen sich aus unzähligen kurzen Pinselstrichen zusammen, die sich letztendlich zu einem mosaikähnlichen Motiv fügen. Für das Entwicklerteam ist dies jedoch erst der Anfang: Als nächstes Projekt möchte man sich Robotern widmen, die nicht "nur" zweidimensionale Kunstwerke, sondern auch Skulpturen schaffen können. (Lisa Haberkorn, 17.2.2023)