Ein Ausschnitt aus einer 3D-Animation mit Rawnerf. Für den vollen Clip bitte das eingebettete Video betrachten, da Standbilder nur einen unvollständigen Einblick in die Möglichkeiten geben.

Foto: Google

Waren früher einmal der Sensor und die Optik die allein bestimmenden Merkmale für die Qualität einer Aufnahme, spielt die Software heutzutage gerade bei der Smartphone-Fotografie eine entscheidende Rolle. Smarte Algorithmen sind es etwa, die dafür sorgen, dass solche Geräte selbst am Abend noch ansehnliche Aufnahmen produzieren können. Also in einem Szenario, wo mit freier Hand und solch relativ kleinen Sensoren kaum ein brauchbares Bild zu erzielen wäre.

Einer der Vorreiter im Bereich dieser "Computational Photography" genannten Sparte ist Google, wo man nicht nur jahrelang bei den Pixel-Smartphones aus vergleichsweise kleinen Sensoren sehr gute Aufnahmen herausholen konnte, sondern wo auch viel Grundlagenforschung in diesem Bereich betrieben wird.

Rawnerf

Im Rahmen der Computer Vision and Pattern Recognition Conference (CVPR) hat man dabei vor einigen Wochen eine neue Software namens "Rawnerf" präsentiert, die nun mit beeindruckenden Bildern für einiges Aufsehen sorgt. Können dabei doch aus Aufnahmen bei fast vollständiger Dunkelheit noch sehr gute Fotos kreiert werden. Doch damit nicht genug, lassen sich darüber auch kurze 3D-Animationen mit veränderbarem Fokus, Belichtung und Tone-Mapping erstellen.

Ben Mildenhall

Die Grundlage all dessen bilden die sogenannten Neural Radiance Fields (Nerf). Bei dieser Technik werden eine Vielzahl an Aufnahmen aus unterschiedlichen Blickpunkten zu einzelnen Bildern oder auch Videosequenzen kombiniert. Der Ansatz der Google-Forscher setzt dabei nun auf Raw-Aufnahmen aus der Kamera, die in einem solchen Szenario üblicherweise sehr starkes Rauschen aufweisen.

Überraschung

Das Ergebnis habe die Forscher selbst verblüfft, wie sie betonen. Zeigt sich doch, dass das Rauschen kaum eine Auswirkung auf das resultierende Bild hat. Mit Rawnerf könne eine Qualität erreicht werden, die sonst nur auf solche Situationen spezialisierte Kameras liefern, so gut funktioniere die KI-basierte Rauschunterdrückung. Auch die Farb- und Detailerhaltung sei deutlich besser als bei klassischen Ansätzen.

Google betont, dass es sich bei all dem derzeit nur um ein Forschungsprojekt handelt, das Ganze also nicht so schnell in kommerziellen Produkten landen wird. Das könnte sich aber natürlich in Zukunft ändern, immerhin hat das Unternehmen gerade für die eigenen Kameras in der Vergangenheit schon öfter Erkenntnisse der eigenen Forschungsabteilung in spätere Softwareversionen übernommen. Ein entscheidender Punkt dafür wird allerdings sein, wie energieeffizient man das Ganze gestalten kann – immerhin sollen diese Algorithmen im besten Fall direkt am Smartphone laufen.

Weitere technische Hintergründe liefern die Forscher auf einer eigenen Webseite. Zudem wurde auch der zugehörige Code auf Github veröffentlicht. (apo, 25.8.2022)