Aktuelle KI-Systeme können nicht nur überzeugend klingende Texte produzieren, sie eignen sich auch dazu, Code zu produzieren und zu analysieren. Das ist für jene, die diese Tools als Assistenzsysteme verstehen, deren Ausgaben kritisch betrachtet werden müssen, durchaus hilfreich. Es hat aber auch seine Schattenseiten, und diese führen nun dazu, dass einem prominenten Open-Source-Entwickler der sprichwörtliche Kragen platzt.

Einfach nur Scheiße

In einem Blogeintrag findet Curl-Entwickler Daniel Stenberg deutliche Worte: Diese "KI-Scheiße", wie er es nennt, werde gerade für kleinere Projekte zu einem immer größeren Problem. Konkret geht es Stenberg dabei um die zunehmende Meldung von vermeintlichen Sicherheitslücken, bei der erst nach und nach klar werde, dass diese von einer KI verfasst wurden – und frei erfunden sind.

Wie mühsam das sein kann, illustriert Stenberg mit einem Verweis auf einen aktuellen Bug-Eintrag bei seinem eigenen Projekt, also der für Datentransfer viel genutzten Bibliothek Curl. Darin meldet ein vermeintlicher Sicherheitsforscher detailliert eine angebliche Sicherheitslücke in Curl. Wie der Fehler reproduziert werden kann, was die Lösung ist – all das wird im Detail angegeben.

Hin und Her

Erst bei einer eingängigen Prüfung stellte Stenberg Ungereimtheiten fest, etwa dass offenbar ein Check, der das vermeintliche Problem non-existent macht, übersehen wurde. Es folgen weitere Nachfragen, auf die der angebliche Sicherheitsforscher jeweils ausführlich und betont freundlich neue Behauptungen aufstellte.

Erst nach einer längeren Debatte wurde Stenberg klar, dass er hier mit einer KI diskutiert, die einfach immer neue Dinge erfindet – also "halluziniert", wie dieses Phänomen bei großen Sprachmodellen heißt. Erst danach – und nach vielen Stunden verschwendeter Zeit – wurde dem Entwickler die Situation klar, und er schloss den Bericht.

Stenberg betont, dass das auch nicht das erste Mal sei, dass er sich mit von KI generierten, überzeugend klingenden aber eben falschen Berichten über Sicherheitslücken konfrontiert sehe. Gerade für kleine Open-Source-Projekte wie das seine, die kaum Unterstützung von großen Firmen erhalten, sei das ein massives Problem, da dafür viel Zeit draufgeht.

Simple Motivation

Der Entwickler geht auch davon aus, dass dieses Phänomen nicht besser werden wird – ganz im Gegenteil. Stecken dahinter doch monetäre Interessen. Offenbar versuchen einzelne mithilfe von KI die Prämien jener Bug Bounties, die als Belohnung für das Aufspüren in vielen Projekten geboten werden, abzukassieren. Der Aufwand dafür sei dank großer Sprachmodelle mittlerweile sehr gering, die Last für die damit zugespammten Entwickler ist hingegen groß. (Andreas Proschofsky, 7.1.2024)