Auch neun Jahre nach seiner ursprünglichen Veröffentlichung ist die Popularität von GTA 5 und seines Online-Ablegers ungebrochen. Seit dem Release der PC-Version toben sich auch Modder in der digitalen Metropole Los Santos aus und ermöglichen es, die Grafik des Spieles mit Textur-Paketen und anderen Erweiterungen deutlich aufzumöbeln.

Forscher des Chipherstellers Intel arbeiten allerdings an einem anderen Verfahren, das Gangsterabenteuer näher an den Fotorealismus heranzuführen. Sie haben ein neuronales Netzwerk entwickelt, das den Stil von Städten aus gefilmtem Material auf das Spiel überträgt – und das beinahe fehlerfrei und in Echtzeit.

Daten aus dem Gbuffer

Seit zwei Jahren arbeitet das dreiköpfige Team an dem Projekt "Photorealism Enhancement", erklärt Wissenschaftler Stephan Richter gegenüber dem Spiegel. Grob erklärt: Das System greift sowohl direkt auf den Bildoutput des Spieles, als auch den Gbuffer der Grafikkarte zu. Letzteres ist wichtig, denn dort finden sich unter anderem Tiefeninformationen oder auch Daten zu den Eigenschaften von Materialien. Die kombinierten Daten werden vom Netzwerk analysiert und Objekte im Sichtfeld ermittelt und klassifiziert.

Diese Daten dienen dann wiederum, um eine verbesserte Version der Szene zu erstellen. Die Vorlage dafür ist eine Videosammlung namens "Cityscapes", in der vorwiegend deutsche Städte aus der Fahrerperspektive zu sehen sind. Im letzten Schritt der Optimierung fließen auch noch Fotos aus einer Datenbank ein, die dem zu sehenden Geschehen ähneln. Die Geometrie des Spieles wird nicht verändern, sehr wohl aber die Farbgebung und Beschaffenheit von Texturen. Eine genauere Erläuterung liefern die Forscher in einem Video und auf der Projektwebsite. Auch mit anderem Vorlagenmaterial wurde experimentiert.

Realitätsfilter

Im Gegensatz zu anderen Systemen glänzt die Methode der Intel-Forscher mit hoher perspektivischer Stabilität. Objekte scheinen nicht zu wandern oder sich zu verformen. Auch kommt es kaum zu "Artefakten", also von der KI "halluzinierte" Bildelemente.

Die Veränderungen werden recht flott vorgenommen, aber derzeit noch nicht so schnell, dass man sie sinnvoll in ein Spiel implementieren könnte. Der aktuelle Prototyp benötigt auf einer Nvidia RTX 3090 etwa eine halbe Sekunde, um das Geschehen einem Realitäts-Makeover zu unterziehen, soll aber in Zukunft flotter werden. Das System hat auch darüber hinaus Schwächen, speziell dort, wo Objekte im Spiel vorkommen – etwa Palmen -, die in der realen Videovorlage kaum bis gar nicht zu finden sind.

Richter sieht Anwendungspotenzial im Spielebereich. Entwickler könnten diese Entwicklung in ihre Gameengines als Filter einbinden, um ihre Werke realistischer aussehen zu lassen. (red, 17.5.2021)