Im Alltag können wir – wortwörtlich – nicht aufhören zu hören. Das Ohr kann nicht verschlossen werden wie das Auge: Wir sind gewohnt, einen ständigen Strom an Schallinformation zu erhalten und die für uns wichtigen Inhalte herauszufiltern (das nennt man den Cocktailparty-Effekt). Klänge und Musik können starke Emotionen hervorrufen, geben Auskunft über Zeit und Raum und verstärken somit die Wahrhaftigkeit des Moments. Anders gesagt: Klang kann das Immersionsniveau eines Erlebnisses erhöhen.
Was ist Immersion?
Laut Janet Murray, Professorin für Digitale Medien, ist ein immersives Erlebnis vergleichbar mit der Sensation, in den Ozean zu springen und unter der Wasseroberfläche zu verharren. Wir sind dabei von einer anderen Realität umgeben, die unseren gesamten wahrnehmenden Apparat beansprucht: Ich sehe die unendlich schwarzen Tiefen unter mir, schmecke das Meerwasser auf meiner Zunge, höre das Dröhnen der Wassermassen, fühle die sanfte Strömung zwischen meinen Fingern und rieche die salzige Meeresluft, wenn ich wieder auftauche.
Geschichten können aber auch unabhängig von der Intensität der Sinnesstimulierung immersiv sein. Der Immersionsgehalt hängt noch von weiteren Faktoren wie der Aufmerksamkeit, Zielsetzung oder Involvierung im Geschehen ab. Viele dieser Mechanismen laufen im Bereich der Virtual Reality zusammen: Das HMD (Head-Mounted Display) umgibt mein Sichtfeld, ich stehe in einer Bar auf einem Sandstrand in Süditalien. Die Controller lassen mich meinen Mojito-Cocktail aufheben und fast entkommt mir eine Träne, als ich eine Trinkbewegung mache und den Kristallzucker nicht schmecken kann.
Was ist Immersive Audio?
Immersive Audio beschreibt technologische und damit einhergehende dramaturgische Verfahren, um Schallereignisse dreidimensional darstellen und den Zuhörer*innen ein besseres Klangerlebnis bieten zu können. Das Audio kommt dabei nicht traditionellerweise von links und rechts (wie bei Stereo-Lautsprechern und Kopfhörern), sondern auch von oben, unten und hinten. Manche 3D-Wiedergabeverfahren ermöglichen die Klangreproduktion von unendlich vielen Richtungen, sodass die Hörer von einer echten „Klangkugel“ umgeben sind.
Wer sich nichts darunter vorstellen kann, sollte sich folgendes YouTube-Video ab Minute 2:41 mit Kopfhörern anhören. Man spürt hier förmlich, wie der Friseur einem die Haarspitzen abschneidet.
Wer braucht das?
Diesen Satz sagen jene Menschen, die noch nie in einer Dolby-Atmos-zertifizierten Kinovorstellung gesessen sind. Film- und Musikliebhaber suchen immer nach Möglichkeiten, die emotionalen Inhalte eines Medienprodukts noch intensiver darstellen zu können: Dies passiert konsumentenseitig durch den Kauf neuerer und „besserer“ Kopfhörer und Fernseher, produzentenseitig durch neuere und „bessere“ Soft- und Hardware und künstlerisches Know-how. Immersive Audio bietet eine neue Dimension an Gestaltungsmöglichkeiten für Kunstschaffende, die auf verschiedenste Weise von Endnutzern genossen werden kann.
Wiedergabegeräte für Immersive Audio
Diese neue Form der Klanggestaltung braucht keine teure Hardware, um die Inhalte hören zu können. Mithilfe von „binauralem Klang“ kann 360-Grad-Audio auch auf ganz normalen Kopfhörern gespielt werden. Im Hintergrund werden dabei psychoakustische Phänomene ausgenutzt, um dem Gehirn vorzugaukeln, die Klänge kämen aus allen Richtungen, obwohl sie nur aus zwei Quellen im Kopfhörer kommen: links und rechts.
Beeindruckend sind auch die neuesten Entwicklungen im Bereich der „Soundbars“. Für Leute, die keine Kopfhörer aufsetzen wollen und „Netflix and Chill“ lieber auf der Couch vor dem Fernseher betreiben, hat zum Beispiel der Hersteller Sennheiser eine Lösung: Die AMBEO Soundbar nutzt die Technologie des „Beamformings“ und schießt den Schall an die Wände und Decke eines Raumes. Die daraus resultierenden Reflexionen erreichen dann die Hörer von allen Seiten. Maßgeblich an der Entwicklung dieser Soundbar beteiligt war das international angesehene Fraunhofer Institut, das ebenso bei der Erfindung des mp3-Formates mitgewirkt hat. Auch die Amazon Echo Studio Soundbar funktioniert aus technischer Sicht ähnlich, nur mit einer schlechteren Klangqualität.
Surround-Sound gibt es nun schon einige Jahrzehnte, hat aber aufgrund des hohen Preis- und Platzaufwandes nicht den Weg in die breiten Massen gefunden. Wer schon ein 5.1- (fünf Lautsprecher und ein Subwoofer) oder 7.1-Surround-Set-Up besitzt, kann sein Heimkino mithilfe von „Dolby Atmos“ erweitern. Dies involviert meist das Anbringen von Lautsprechern an der Decke. Für die Wiedergabe des Atmos-Contents wird dann aber auch ein Prozessor gebraucht, der das Format dekodieren und an alle Lautsprecher weiterleiten kann. Weitere Verfahren zum Abhören von 360-Grad-Audio sind Ambisonics und Auro 3D.
Objektbasiertes Audio
Produktionsseitig liegt der immersiven Klanggestaltung das „objektbasierte Mixing“ zu Grunde. Anstatt sich beim Mischen der Klänge auf die einzelnen Kanäle (L, R, C, LH, RH, …) zu konzentrieren, wird jeder Sound als „Klangobjekt“ in einem dreidimensionalen Panner dargestellt. Das Objekt kann dann beliebig im Raum bewegt werden. Der springende Punkt hierbei ist, dass beispielsweise die Musik eines Filmes dann nicht für jede Art der 360-Grad-Wiedergabe neu gemischt werden muss. Die Mischung wird nur einmal vom Mixing-Engineer in seinem eigenen Dolby-Atmos-Studio (mit Lautsprecheranzahl x) erstellt und kann dann mithilfe des Algorithmus auf ein beliebiges Dolby-Atmos-Wiedergabesystem (mit Lautsprecheranzahl y) gerendert werden.
Wenn ich von „objektbasiertem Mixing“ schreibe, kann ich eine weitere technologische Errungenschaft nicht unerwähnt lassen. Wer wollte nicht schon mal den Fußballkommentator im Fernsehen zum Schweigen bringen? Zukünftig soll dies mithilfe des ebenfalls vom Fraunhofer Institut entwickelten „MPEG-H“-Systems möglich sein. In den Metadaten der Audiodatei ist der Fußballkommentator als Objekt gespeichert, das durch beliebige Parameter (wie Lautstärke, Position, Sprache, …) manipuliert werden kann. Anstatt ein unveränderbares Stereo-Audiofile vom Broadcaster zu erhalten, werden die Metadaten der einzelnen Objekte im Audiofile eingebettet und können während des Abhörens auf der Couch verändert werden. Ich könnte mithilfe des MPEG-H-Systems aus mehreren Fußballmoderatoren wählen und je nach meiner Stimmung die Lautstärke der „You’ll Never Walk Alone“-Gesänge der Liverpool FC-Fans anpassen. Werden diese Gesänge jetzt auch noch mit einer 360-Grad-Soundbar wiedergegeben, steht einem spannenden, immersiven Fußballabend nichts mehr im Weg.
Vertriebskanäle von Immersive Audio
Große Musikstreaming-Plattformen wie Tidal und Amazon Music HD bieten mittlerweile schon 360-Grad-Musik an. Hier spielt Sony mit ihrem 360-Reality-Audio eine große Rolle. Die Musik kann auf normalen Kopfhörern im Binaural-Format gehört werden.
Wie bereits erwähnt springen viele Film-Streaming-Plattformen wie Netflix auf den Immersive-Audio-Zug auf. Einige Serien können dort bereits in Dolby Atmos gehört werden.
Auch im Gaming-Bereich hat Immersive Audio eine tragende Position. Besonders in Shooter-Spielen kann es wichtig sein, genau zu hören, von wo sich der Feind nähert und ob die Schüsse aus dem Stockwerk über mir kommen oder nicht. Ich habe bei meiner Recherche eine Liste gefunden, auf der Spieletitel mit 3D-Audio gesammelt werden. Bei Videospielen wird meist mit binauralem Sound gearbeitet, da viele Gamer mit Kopfhörern spielen.
Content ist gefragt!
Letztlich bleibt die Kunstschaffenden zu ermutigen, sich in die Domäne des immersiven Erlebnisses zu trauen und Content für die vielen verschiedenen Verbreitungsplattformen zu produzieren, die es bereits gibt. Die Zeichen im Mediensektor weisen stark darauf hin, dass auch die Big Player wie Facebook und Apple immersiven Content – egal ob in Virtual oder Augmented Reality – als zukunftsfähig sehen. Facebook hat mit seiner 360-Spatial-Workstation Tools geschaffen, die der Öffentlichkeit gratis zur Verfügung stehen und Content-Entwicklung in dieser Richtung fördern. Die Gerüchteküche brodelt, wenn es um Head-Tracking-Sensoren in zukünftigen Apple-Kopfhörerprodukten geht. Natürlich gibt es bei den Technologien für 360-Grad-Audio noch viel zu verbessern (siehe das HRTF-Problem), jedoch wird der Zugang zu den Inhalten immer einfacher.
Ich gestehe, dass ich mich schon auf die Jahre freue, die ich als 80-jähriger Altersheimbewohner in einer zukünftigen Form des VR-Chats verbringen werde. Abgekoppelt von meinem Umfeld, eingetaucht in eine neue Wirklichkeit aus außerirdischen Klängen und fremden Realitäten. Und das gemeinsam mit Millionen anderer Pensionist*innen aus der ganzen Welt. (Lukas Zeiler, 17.11.2020)
Lukas Zeiler ist Blogautor für TEDxVienna und studiert Digital Media Production an der FH St. Pölten.
Weitere Beiträge im Blog