Allen Warnungen zum Trotz: Betrügerische Telefonanrufe funktionieren weiterhin erschreckend gut. Gerade technisch weniger versierte Personen tappen dabei oftmals in die Falle, weltweit wurden laute Zahlen der Global Anti-Scam Alliance (GASA) im Jahr 2023 bei solchen "Scams" im Vorjahr fast eine Billion Euro erbeutet. Insofern klingt ein vor wenigen Tagen von Google angekündigtes Feature eigentlich ziemlich interessant. Eine lokal am Smartphone laufende KI soll entsprechende Muster in einem Gespräch erkennen und die Nutzer noch einmal extra warnen, wenn von einem Betrugsversuch auszugehen ist. Und doch ist es gerade dieses Features, das nun für scharfe Kritik sorgt, wirft es doch grundlegende Fragen rund um das Thema Überwachung auf.

Mithören

Zunächst: Worum geht es eigentlich bei der Debatte? Damit die neue Google-Funktion betrügerische Anrufe überhaupt erkennen kann, muss sie natürlich die Gespräche mithören, um sie mit üblichen Mustern solcher Scams abzugleichen. Klingt nach einem Privatsphärenalbtraum, Google versichert aber, dass diese Analyse von einer rein lokal laufenden KI auf Basis des eigenen großen Sprachmodells Gemini Nano vorgenommen wird, und somit nie Daten nach außen dringen.

Schutz vor betrügerischen Anrufen unter Android
Android-Entwicklungschef Dave Burke stellte das kommende Feature auf der Google I/O vor
Proschofsky / STANDARD

Tatsächlich ist unter Android gut dokumentiert, wie das abgehandelt wird. Es gibt einen sogenannten "Private Compute Core", der genau für entsprechende Aufgaben gedacht ist, und Garantien dazu abgeben kann, dass in diesem Prozess keine privaten Daten gesammelt oder gar weitergegeben werden. Dieser Hochsicherheitsbereich läuft strikt vom restlichen System getrennt, hat auch gar keinen Zugriff auf das Internet, und liefert dem restlichen Betriebssystem lediglich über fixe Schnittstellen ein Ergebnis – also in dem Fall eben, ob ein Anruf vermutlich betrügerisch ist oder nicht.

Client Side Scanning

Das bezweifeln auch Kritikerinnen wie Signal-Chefin Meredith Whittaker nicht, und doch warnt sie jetzt mit eindringlichen Worten vor dieser Entwicklung. Für sie ist das ein "unglaublich gefährlicher" Schritt auf dem Weg zu jenem "Client Side Scanning", wie es Geheimdienste und Polizeibehörden in der EU gerade politisch durchsetzen wollen. Seie einmal die technische Grundlage für die Erkennung von betrügerischen Anrufen geschaffen, ließe sich dieses System auch schnell für andere Aufgaben einsetzen, so die Argumentation von Whittaker. Denkbar wäre da etwa die Erkennung von Gesprächen über eine geplante Abtreibung oder auch politischen Protest.

Für Whittaker ist das auch ein gutes Beispiel dafür, dass die Weiterentwicklung von KI nie von Bedenken in Hinblick auf Privatsphäre getrennt werden kann. Dem in einigen Reaktionen aufgebrachten Punkt, dass dieses Feature nur am Gerät läuft, hält die Signal-Chefin entgegen, dass die Software damit trotzdem nur ein Update davon entfernt sei, Daten weiterzureichen.

Grundlegende Fragen

Das ist richtig, wirft aber in Wirklichkeit wesentlich grundlegendere Fragen zur Nutzung von lokaler KI – oder eigentlich sogar von Software generell – auf. Denn auch wenn das Beispiel besonders plakativ ist, strukturell gesehen reicht die Thematik wesentlich weiter – und ist auch nicht neu. Schon jetzt werden auf vielen Android-Geräten betrügerische Nachrichten von einer lokalen KI erkannt, ein anderes seit längerem verfügbares Feature kann direkt am Gerät sämtliche Tonausgaben auswerten und als Untertitel darstellen. Und auch Apple nutzt lokale KI für allerlei sensible Aufgaben, analysiert und organisiert damit etwa die Fotos seiner Nutzerinnen und Nutzer. All das ließe sich rein theoretisch vom Hersteller zur Spionage missbrauchen, ein simples Update würde reichen. Von Cloud-basierten Diensten und so ziemlich jedem Spam-Filter der Welt einmal ganz abgesehen.

Im Endeffekt geht es dabei – neben der Intention – also vor allem um eine Frage des Vertrauens – und zwar gegenüber dem Hersteller des jeweiligen Systems. Denn auch wenn das nicht gerne offen ausgesprochen wird: Natürlich muss man auch jetzt schon dem Anbieter eines jeden Betriebssystems vertrauen. Theoretisch könnte jeder einzelne davon nachträglich sehr einfach Spionagesoftware über ein Update einschmuggeln.

Es kommt viel mehr

Was bei all dem allerdings unumstritten ist: Mächtige lokale KI macht all das leichter und bietet somit auch neue Möglichkeiten, Spionage besser zu tarnen. All das, worüber gerade diskutiert wird, ist jedenfalls nur der Anfang einer gerade rasant voranschreitenden Entwicklung. So ist es kein Geheimnis, dass die großen Hersteller derzeit alle die gleiche Vision verfolgen: Die eines lokal laufenden, digitalen KI-Assistenten, der den Nutzerinnen und Nutzern immer hilfreich zur Seite steht – und zwar auf Basis von deren Daten. Und da stellen all diese Fragen, die jetzt das Anti-Scam-Anruf-Feature von Google aufgeworfen hat, noch in einem viel, viel größeren Ausmaß.

Um es noch komplizierter zu machen, gibt es natürlich noch eine andere Perspektive: Lokal laufende KI wird es nämlich ermöglichen, dass viele Aufgaben, die bisher in der Cloud laufen, direkt am Smartphone erfolgen. Das ist wiederum aus einer Privatsphärenperspektive ein echter Gewinn, ganz ohne Probleme ist aber eben selbst das nicht, wie die aktuelle Diskussion zeigt.

Bleibt all jenen, die das erwähnte Anti-Scam-Feature nicht wollen, zumindest der Trost, dass dieses Feature laut Google von Haus aus deaktiviert bleiben soll. Wer es nicht nutzen will, muss also auch nichts tun. (Andreas Proschofsky, 21.5.2024)