Hey, Brother! Damit Gesten und Gebärden für Computer besser erkennbar sind, versuchen es Forscher nun mit Schallwellen.

Foto: apa/dpa/Friso Gentsch

Linz – Vom Tastendruck über die Wischbewegung am Bildschirm bis hin zur Geste im freien Raum: Die Evolution der Art, wie Menschen mit Computern interagieren, schreitet voran. Während Touch-Displays mittlerweile omnipräsent sind, ist die Gestensteuerung noch rar gesät. Viele vorhandene Systeme wie etwa das populäre Microsoft Kinect greifen auf optische Sensoren zurück, die mittels verschiedener Methoden 3D-Bilder und "Punktewolken" aufgenommener Oberflächen erstellen.

Im Rahmen eines aktuellen EU-Forschungsprojekts geht man nun einen anderen Weg. Nicht die Informationen, die die Lichtstrahlen mit sich führen, werden dabei vermessen, sondern jene des Schalls. Die Geschwindigkeit von Schallwellen in Relation zu Funkwellen, der Doppler-Effekt oder die Echoortung, wie sie etwa in der Sonartechnologie von U-Booten zum Einsatz kommt, gehören zu den verwendeten Prinzipien. Der Name des Projekts, in dem 32 Partner aus neun Ländern Europas zusammenarbeiten: Silense ("Ultrasound Interfaces and Low Energy Integrated Sensors").

Breite Anwendung

Die potenziellen Anwendungen reichen von der Gestensteuerung im Auto, die den Fahrer unkompliziert Navigationsgerät oder Musikanlage bedienen lässt, über die Kontrolle von Funktionen smarter Häuser bis zu sogenannten Wearables wie dem Fitnessband, das man zur Steuerung nicht mehr mit verschwitzten Fingern angreifen muss. Aus Österreich ist neben dem Kärntner Forschungszentrum Carinthian Tech Research (CTR), der Kepler-Universität Linz (JKU) und dem Unternehmen Infineon auch das oberösterreichische Forschungsunternehmen Linz Center of Mechatronics GmbH (LCM) an Silense beteiligt.

Am LCM möchten die Entwickler den Ansatz in einem ersten Schritt für Anwendungen im Gesundheitsbereich und im industriellen Umfeld nutzen: Roboter in Produktionshallen sollen lernen, auf Gesten zu reagieren. Die Sensorik soll Computer befähigen, Gebärdensprache zu verstehen. In der Physiotherapie sollen tragbare Geräte den Patienten helfen, ihre Übungen richtig zu machen, zählt Florian Hammer, Senior Researcher am LCM, Einsatzbereiche auf.

Demonstrator

Ein Demonstrator, an dem Hammer und Kollegen etwa für die Anwendung in der Physiotherapie arbeiten, besteht aus Anordnungen von Lautsprechern und Mikrofonen, die – für Menschen unhörbare – Ultraschallwellen aussenden und empfangen. Sie werden an Armbändern, an einer Halskette und gegebenenfalls auch an einer Gürtelschnalle angebracht, erklärt der Forscher. Ein eingebettetes Computersystem errechnet aus den aufgenommenen Daten kontinuierlich die sich verändernden Entfernungen zwischen den Sensorknoten sowie die jeweiligen Richtungen, aus denen der Schall kommt.

"Die Messung nutzt – wie bei Donner und Blitz – die unterschiedlichen Laufzeiten von Schall- und elektromagnetischen Wellen", erklärt Hammer. "Ein Funksignal kann etwa den Start der Messung ankündigen. Aufgrund der Zeit, die das akustische Signal benötigt, um am Messpunkt einzutreffen, wird dann die Distanz eruiert."

Echoortung

Sogar die Geschwindigkeit der Bewegungen lasse sich aus den Daten ableiten, indem die als Doppler-Effekt bekannte Stauchung und Dehnung des Signals, die sich in der Frequenz niederschlägt, ausgewertet wird. "Diesen Ansatz müssen wir allerdings erst für den Ultraschallbereich erproben", betont Hammer. Für die Erkennung von Gebärdensprache kann das System etwa mit einem Echoortungselement ergänzt werden. Dabei würde die Hand vom Armband aus mit Ultraschallwellen bestrahlt und das zurückkehrende Echo vermessen werden, um auf Handstellung und Fingerhaltung rückschließen zu können.

Am LCM sammelte man bereits im vergangenen EU-Projekt Featureface Erfahrungen zur Distanzmessung per Schall. Hier wurde das Prinzip für die Vermeidung von Unfällen im Bergbau verwendet – Bergleute im Umkreis von Maschinen konnten so auf wenige Zentimeter genau geortet werden.

Die schallbasierten Systeme fügen der Sensorik eines "Internet of Things" einen wichtigen Baustein hinzu. Sie können – gerade im Vergleich zu optischen Sensoren – besonders energie- und kostensparend zwischen Mensch und Maschine vermitteln. (pum, 18.2.2018)