Im aktuellen Hype rund um künstliche Intelligenz ist jenes Eichhörnchen in Vergessenheit geraten, dem das Silicon Valley noch vor wenigen Monaten kichernd nachgejagt ist: das "Metaversum", in weniger buzzword-lastigen Kreisen auch bekannt als Virtual Reality oder Augmented Reality. Dabei gibt es für diese Technologie auch abseits von Gaming einige innovative Anwendungsszenarien – etwa wenn es um das Erlernen eines Instruments oder das Produzieren eines Songs geht. Grund genug, sich diesem Thema im aktuellen Beitrag der STANDARD-Artikelserie "Musik der Zukunft" zu widmen.

Klavierspielen in Augmented Reality

Naheliegend ist, die Technologie zum Erlernen eines Instruments zu nutzen – so wie zum Beispiel auch Apps und Websites genutzt werden können, um das Gitarrenspielen zu lernen. So ermöglichen manche Programme, Klavierspielen mithilfe einer AR-Brille zu lernen.

In diese Kategorie fällt etwa das 2016 von Studentinnen und Studenten der Carnegie Mellon University entwickelte Music Everywhere, das damals noch für Microsofts AR-Brille Hololens entwickelt wurde. Das nachfolgende Video gibt einen Eindruck davon, wie das Programm funktioniert.

Nach einer Verbindung zwischen Brille und Keyboard via Bluetooth und der Platzierung eines virtuellen Keyboards in der realen Welt können neue Songs erlernt oder mit einer virtuellen Band musiziert werden. Der Nachteil: Nach den Anfangserfolgen wurde das Projekt nicht mehr auf andere Brillen portiert, und mit einem Einstiegspreis von 3500 Dollar ist die aktuelle Hololens 2 alles andere als ein Schnäppchen.

Magic Keys: Ein Meta-Vorzeigeprojekt aus Österreich

Eine andere App funktioniert ähnlich, wird aber im Gegensatz zu Music Everywhere noch weiter betreut und auf verschiedene Plattformen portiert: Magic Keys, welches der Österreicher Dominik Hackl während seines Studiums 2017 an der FH OÖ Campus Hagenberg entwickelt hatte, damals ebenfalls für die Hololens. Der Durchbruch kam aber 2021, als er die Passthrough-Technologie der vergleichsweise günstigen Meta Quest 1 nutzte und ein entsprechendes Video ins Netz stellte.

Dieses ging viral und erregte die Aufmerksamkeit des Meta-Teams – woraufhin Mark Zuckerberg das Projekt des Österreichers in einer seiner Keynotes als Beispiel dafür nannte, was mit Metas VR- und AR-Brillen möglich ist. Hackl erhielt von Meta eine Förderung und kündigte seinen Job als Spieleentwickler, um ein eigenes Start-up zu gründen und sich Vollzeit dem Projekt Magic Keys zu widmen.

In den kommenden Monaten möchte Hackl die fertige Software auf den Markt bringen sowie ein Monetarisierungs- und Geschäftsmodell entwickeln. Auch Partnerschaften bieten sich an, Interesse gibt es von Klavierherstellern ebenso wie von Musikverlegern und Anbietern anderer Klavierlern-Apps.

Magic Keys im STANDARD-Test

Die aktuelle Version der Software kann bereits getestet werden, der STANDARD hat die Software auf einer Meta Quest 2 ausprobiert. War die App einmal installiert und das Programm gestartet, konnte ein virtuelles Keyboard grafisch über das haptische Instrument gelegt werden, wodurch sichtbar ist, welche Taste für welche Note steht. Anschließend werden – ähnliche wie bei Guitar Hero, das laut Hackl als Inspiration galt – die Noten als bunte Punkte eingespielt, die es nachzuspielen gilt.

Im Test funktionierte das gut, solange eingestellt wurde, dass das Lied auch ohne registrierten Input des Testers weiterlaufen soll. Leider wurden beim ersten Versuch Tastenanschläge vom Programm aber nicht registriert, was laut Hackl verschiedene Gründe haben kann, entweder ist das virtuelle Keyboard nicht genau genug platziert, oder die Lichtverhältnisse sind schlecht. In unserem Fall wurde der Übeltäter dann beim zweiten Anlauf gefunden: die Controller lagen noch im Sichtfeld der Brille und blockierten somit das Handtracking.

Der Cyborg-Pianist

Wer solche Probleme vermeiden möchte, der kann die VR-Brille auch wird mit dem Midi-Output des Keyboards synchronisieren. Hierzu wird das Keyboard über einen Midi-zu-USB-Adapter mit dem PC verbunden, der PC leitet das Signal dann an die Brille weiter. Eine entsprechende Anleitung und eine kostenlose Companion-App bietet Magic Keys auf der eigenen Website an.

Über die Companion-App ist es auch möglich, eigene Songs im MIDI-Format in das Programm zu laden und nachzuspielen – was in der Musikproduktion entsprechend Potenzial im Zusammenspiel mit KI schaffen kann: Eine vom Roboter geschriebene, klinische Melodie holprig auf dem Piano zu klimpern verpasst dem Werk wieder reine menschliche Note.

Light Field von Spatial Labs: Aufregung um eine AR-DAW

Geht es hingegen weniger um das Erlernen eines Instruments als um die Musikproduktion, so wurde auf dem Blog der KI-Musiksoftware Audiocipher zuletzt eine AR-Software vorgestellt, die ironischerweise den gleichen Namen trägt wie ein ebenfalls aus Österreich stammendes Indie-Game: Light Field von Spatial Labs.

Light Field ist eine Digital Audio Workstation (DAW), deren Funktionsweise wir bereits an anderer Stelle in der "Musik der Zukunft"-Serie vorgestellt haben. Derartige Software dient dazu, Musik aufzunehmen, abzumischen, mit Effekten zu versehen und anschließend wieder zu exportieren.

Von anderen AR-Anwendungen unterscheidet sich Light Field dadurch, dass keine spezielle Brille benötigt wird, sondern die digitalen Inhalte auf eine beliebige Oberfläche projiziert werden. Auch dürfte der Funktionsumfang deutlich geringer sein als etwa in Cubase oder in Ableton Live. Dafür kommt jedoch KI zur Anwendung, um die Gesangs- von den Instrumentspuren zu trennen. Für diesen Arbeitsschritt hatten KI-Künstler bisher Tools wie Spleeter von Deezer verwendet.

Betont werden muss aber auch, dass abseits des Promovideos noch keine Live-Demos von Light Field zu sehen waren. Die Skepsis in diversen Internetforen ist also groß, dass es sich hierbei auch um einen Fake handeln könnte, mit dem das Unternehmen Investoren auf sich aufmerksam machen will.

Software-Kits für Sounddesigner

Und schließlich geht die Verschmelzung zwischen Musik und Augmented Reality nicht nur in die eine, sondern auch in die andere Richtung: Bands und Sounddesigner können die Anwendungen nutzen, um ihre Werke in interaktive und virtuelle Welten zu bringen. Das wissen freilich auch die großen Tech-Konzerne, die den Einstieg in die virtuelle Welt auch Nicht-Techies so einfach wie möglich machen wollen.

So bietet Meta mit dem Spark AR Studio ein Softwarepaket, mit dem Augmented Reality-Anwendungen für die Quest-Brillen erstellt werden können. Ein ähnliches Paket bietet Adobe mit Adobe Aero, welches ebenfalls das Einbinden von Audio-Assets in AR-Programme ermöglicht.

Ein anderes Thema ist jenes, wie Audio überhaupt für den dreidimensionalen virtuellen Raum abgemischt werden soll. Hier bietet Audiokinetic eine Lösung namens Wwise, vom deutschen Anbieter Steinberg soll wiederum Nuendo eine entsprechende professionelle Postproduktion ermöglichen.

Perfekt fürs Lernen

Letzten Endes glaubt Hackl, dass sich Augmented Reality vor allem für das Lernen gut eignet – so hat Microsoft die Hololens unter anderem für Trainings in der Industrie beworben, das Gleiche trifft aber auch auf Musik zu. Denn im Gegensatz zu etwa Gaming müssen sich die virtuellen Objekte bei Lernanwendungen nicht hundertprozentig in die reale Welt einfügen, um eine tolle Erfahrung zu bieten – es reicht, dass die entsprechende Information eingeblendet wird.

In der Virtual Reality – also beim kompletten Abtauchen in virtuelle Welten, ohne dass reale Objekte involviert sind – könnten zum Beispiel VR-Anwendungen rund um Musikproduktion und das gemeinsame Musizieren florieren. Also lieber auf einem virtuellen Südseestrand anstatt im miefigen Proberaum gemeinsam jammen? Klingt durchaus reizvoll. (Stefan Mey, 9.5.2023)