Microsoft hat einen Bot entwickelt, der Zeichnungen nach Textangaben anfertigen kann. Solche Text-to-Image-Technologien gibt es bereits. Laut den Forschern kann man mit einem neuen Ansatz jedoch Bilder in deutlich höherer Qualität erschaffen.

Bot kann gelbe Vögel zeichnen

Der Drawing Bot ist darauf trainiert, einzelne Wörter besonders zu beachten, wenn es darum geht ein Bild anhand eines Texts zu erschaffen. Microsoft erklärt das anhand folgenden Beispiels: Man gibt einem Menschen eine Notiz, auf der die Anweisung stet einen Vogel mit gelbem Körper, schwarzen Flügeln und einem kurzen Schnabel zu zeichnen. Der Mensch wird zunächst den Umriss des Vogels zeichnen, nach einem weiteren Blick auf die Notiz den Körper gelb ausmalen, dann einen schwarzen Stift zur Hand nehmen um die Flügel zu zeichnen und den kurzen Schnabel nochmals betonen. Zum Abschluss zeichnet er vielleicht noch einen Ast dazu, auf dem der Vogel sitzt. Ebenso gehe der Bot vor.

Der Drawing Bot kann laut den Microsoft-Forschern theoretisch alle möglichen Motive zeichnen – seien sie nun realistisch oder abstrakt. Da in jedem Foto auch Details zu finden sind, die nicht in der Textvorgabe stehen, dürfte die künstliche Intelligenz auch über eine Art künstliche Fantasie verfügen, so die Forscher. Der Bot basiert auf einem sogenannten Generative Adversarial Network (GAN). Es besteht aus zwei Maschinenlern-Modellen. Eines generiert Fotos anhand von Textangaben, das andere (Diskriminator genannt) überprüft die Authentizität der so erschaffenen Bilder. Der Bildgenerator versucht dabei immer besser zu werden, um den Diskriminator zu täuschen.

Technologie noch nicht perfekt

Für das Training wurde der Bot mit Datenbanken mit Fotos und Textbeschreibungen gefüttert. Die eigentlichen Zeichnungen würden jedoch Pixel für Pixel von dem Programm neu erschaffen, erklären die Forscher. Es ist quasi das Gegenteil einer Software, die ein Motiv auf einem Bild erkennt und daraus eine automatische Textbeschreibung generiert. Die Technologie stößt derzeit jedoch noch rasch an ihre Grenzen. Zwar kommt sie gut mit Beschreibungen wie "blauer Vogel" zurecht, bei komplexeren Angaben wird es für den Drawing Bot allerdings schwierig. Dann kann er derzeit nur verschwommene Motive erschaffen.

In der Praxis könnte so ein Text-to-Image-Programm zur Unterstützung von Designern oder Grafikern zum Einsatz kommen. Auch ist es denkbar, dass ein Computer in Zukunft einen animierten Film erschafft, wenn man ihm als Vorlage eine Geschichte gibt. Wann aus dem Drawing Bot ein öffentlich bzw. kommerziell erhältliches Tool wird, ist nicht bekannt. (red, 19.1.2018)