Die britische Schauspielerin Emma Watson ist nicht nur bekannt für ihre Auftritte in "Harry Potter", "Die Schöne und das Biest" oder "Little Women", sondern auch für ihr Engagement für Menschenrechte und Klimaschutz. Dass sie in einer Aufnahme aus Hitlers Pamphlet "Mein Kampf" vorträgt, überrascht.

Allerdings handelt es sich nicht um eine echte Abbildung ihrer Stimme, sondern eine von einer künstlichen Intelligenz erzeugte Reproduktion, die vorliest, was ihr angeschafft wird. Diesen und anderen Missbrauch seines Stimmengenerators hat die Techfirma Eleven Labs entdeckt. Das Tool wurde bereits während einer kurzen Testphase äußerst beliebt bei Internet-Trollen, berichtet "Vice".

Zahlreiche Experimente dieser Natur entdeckte man dort im berühmt-berüchtigten Imageboard 4chan. Eleven Labs, das von ehemaligen Mitarbeitern von Google und der Überwachungsfirma Palantir gegründet wurde, hatte sein neues Werkzeug "Voice Labs" vor dem Wochenende zum Ausprobieren freigegeben.

Gewaltaufrufe

Nicht nur Watson wurde zum Ziel fragwürdiger Experimente, auch die Stimmen anderer bekannterer Persönlichkeiten wurden in recht hoher Qualität geklont. Dazu gehören etwa der Podcast-Gastgeber Joe Rogan und der konservative Kommentator Ben Shapiro. Diesen wurden in hochgeladenen Audiodateien mitunter rassistische und transphobe Aussagen sowie Gewaltaufrufe virtuell in den Mund gelegt. Shapiro äußert sich darin etwa abwertend über die demokratische Abgeordnete Alexandria Ocasio-Cortez. Verlinkungen zur Betaversion des Eleven-Labs-Tools legen nahe, dass diese Deepfakes damit erstellt worden sind.

Auch Kunstfiguren wurden für solcherlei Experimente herangezogen. Rick Sanchez aus "Rick & Morty" kündigt darin beispielsweise an, dass er seine "verdammte Frau zu Tode prügeln" werde. Detail am Rande: Gegen Justin Roiland, der menschlichen Stimme hinter dem Cartoon-Charakter, ist ein Verfahren wegen häuslicher Gewalt anhängig.

Deepfake-Tool nur noch für bezahlte Accounts

In einem Tweet berichtet Eleven Labs von einer "steigenden Zahl missbräuchlicher Verwendungen" des Stimmduplizierers. Allerdings betont man, dass die Software überwiegend für "positive Zwecke" genutzt werde.

Wenngleich man laut eigenen Angaben jedes Stimmfake zum jeweiligen Nutzeraccount, der es erstellt hat, zurückverfolgen könne, will man nun den Generator besser absichern. Nach etwas Bedenkzeit hat man sich für mehrere Schritte entschieden.

"Voice Labs" wird künftig nur noch bezahlten Accounts vorbehalten sein. Der Großteil der bösartigen Deepfakes ist laut dem Unternehmen von Nutzern mit kostenlosem Zugang, der anonym angelegt werden kann, erstellt worden. Gratis kann in Zukunft nur noch eine Auswahl vorgefertigter Stimmen genutzt werden.

Prüftool soll bald erscheinen

Dazu kommt ein neues Abo um fünf Dollar pro Monat, das Testzugang zu allen Angeboten mitbringt, allerdings mit niedrigerem Zeichenlimit und Identitätsfeststellung über die Kreditkarte. Damit ließe sich Missbrauch zwar nicht vollständig verhindern, von der Einschränkung der Anonymität erhofft man sich aber eine abschreckende Wirkung. Zuvor hatte man erwogen, Nutzer zur Verifikation eigene Stimmproben hochladen zu lassen oder eine Verifikation mittels Ausweises zu implementieren.

Bereits kommende Woche will man außerdem eine Software zur Verfügung stellen, mit der überprüft werden kann, ob eine Stimmaufnahme mit "Voice Labs" erstellt wurde und mit der auch Missbrauch gemeldet werden kann. Konten, die "schädliche Inhalte" erstellen, sollen permanent gesperrt werden. Man werde zudem die Entwicklung weiter beobachten und, wenn nötig, weitere Schritte setzen. Sollten dafür Features entfernt werden müssen, sollen betroffene Nutzer eine volle Rückerstattung ihrer Abo-Gebühren erhalten. (gpi, 1.2.2023)