"All in all, it's just another brick in the wall". Der berühmte Pink-Floyd-Song "Another Brick in the Wall (Part 1)", dessen Melodie und Zeilen wohl kaum jemand nicht sofort im Ohr hat, verhalf Neurowissenschaftern zu einem bisher einzigartigen Erfolg. Allein anhand der Gehirnwellen, die von 29 Patienten und Patientinnen beim Hören des Hits aufgezeichnet wurden, konnten sie den Song rekonstruieren.

Das per KI-Software bearbeitete Ergebnis hört sich zwar einigermaßen verzerrt und unverständlich an, die Grundmelodik und -rhythmik lassen sich aber durchaus erkennen in den Audio-Files, welche die Forschungsgruppe von der University of California, Berkeley, zusammen mit ihrer Studie im Fachblatt "PLOS Biology" veröffentlichte. Ein Vergleich der Original- mit der rekonstruierten Version kann hier angehört werden.

Die Wissenschafterinnen und Wissenschafter rund um Robert Knight und Ludovic Bellier wollen damit zeigen, dass nicht nur einzelne Buchstaben, Wörter und Sätze quasi aus dem Gehirn abgelesen, sondern auch musikalische Elemente wie Rhythmus, Harmonie, Melodie und Intonation übersetzt werden können. Die Forschung soll helfen, Gehirn-Computer-Schnittstellen, mit denen etwa gelähmte Personen oder Schlaganfallpatienten kommunizieren können, zu verbessern.

Rhythmus-Sektion im Gehirn

Die Forschenden griffen bei ihrer Arbeit auf einen Datensatz zurück, der bereits vor zehn Jahren entstanden ist. Damals wurde 29 Patienten während einer Operation, der sie aufgrund von Epilepsie unterzogen wurden, ein Teil des Pink-Floyd-Songs vorgespielt. 2.668 Elektroden, die direkt am Gehirn angebracht waren, nahmen die dabei erzeugten Gehirnwellen auf. Die Aktivität von 347 der Elektroden konnte direkt mit Musik in Verbindung gebracht werden. Derzeit ist es nur möglich, eine derart genaue Gehirnaktivität mit intrakranialer Elektroenzephalografie aufzuzeichnen, nichtinvasive Methoden auf der Schädeldecke sind noch zu wenig präzise.

Die Analyse der Songelemente zeigte, dass in einer bestimmten Region im Gyrus temporalis superior (STG), der unter anderem für die Verarbeitung akustischer Reize zuständig ist, sozusagen die Rhythmus-Sektion zu Hause ist. In diesem Fall sprach diese Region besonders auf den Gitarrenrhythmus an. Um herauszufinden, welche Gehirnregionen und musikalischen Elemente am wichtigsten waren, entfernten die Forscher jeweils verschiedene Daten und verglichen dann die Rekonstruktionen. So konnten Regionen bestimmt werden, die auf das Einsetzen von Stimmen oder Synthesizern ansprechen, und andere, die bei anhaltenden Vocals aktiv sind.

Sprachmelodie

Mithilfe der neuen Erkenntnisse könnte auch den Sprachausgabegeräten, die bisher eher roboterhaft klingen, weitere Komponenten wie Sprachmelodie hinzugefügt und so schließlich neue Bedeutungsebenen und Emotionen vermittelt werden, hoffen die Forscher.

Noch sind Brain-Computer-Interface-Technologien alles andere als ausgereift, aber die Entwicklung schreitet voran. 2012 waren Robert Knight und Kollegen die Ersten, die Wörter rekonstruieren konnten, allein indem sie die Gehirnaktivität der Person, die die Wörter hörte, ablasen. 2021 wendeten Forscher aus Knights Team erfolgreich KI-Systeme an, um Gehirnaufzeichnungen einer gelähmten Person, die sich vorstellte zu sprechen, zu interpretieren und direkt auf einen Monitor zu übertragen.

Die neuen Untersuchungen würden bestätigen, dass Sprache mehr in der linken und Musik zwar verteilt, aber tendenziell eher in der rechten Gehirnhälfte verankert ist, sagt Knight. Künftig möchte der Neurowissenschafter herausfinden, warum manche Menschen mit Sprachstörungen infolge eines Schlaganfalles immer noch singend kommunizieren können – selbst wenn sie nicht fähig sind, sich sprachlich ausdrücken. (Karin Krichmayr, 16.8.2023)