Dass Chatbots dazu neigen, es mit der Wahrheit nicht immer genau zu nehmen, ist hinlänglich bekannt. Die Antworten des populärsten KI-Assistenten ChatGPT sollen am Dienstag aber ein ganz neues Ausmaß an Halluzinieren erreicht haben: Ein Bug im Sprachmodell hat offenbar dazu geführt, dass OpenAIs Aushängeschild eine Reihe unerwartet verrückter Antworten ausspuckte.
Die Reaktionen der Nutzerinnen und Nutzer fielen dementsprechend verwundert aus. Während Nutzer auf X etwa meinten, dass ChatGPT seinen Verstand komplett verloren habe, scherzte man auch auf Reddit, dass der Chatbot verrückt geworden sei, an Demenz leide oder einen Schlaganfall erlitten habe. Andere wiederum stellten aber auch ihren eigenen Gesundheitszustand infrage.
Eine Fehlersuche
Natürlich lebt ChatGPT nicht und hat auch kein Bewusstsein, nur neigen die Nutzerinnen und Nutzer mitunter dazu, auf menschenähnliche Metaphern zurückzugreifen, um die überraschenden Antworten zu erklären, die das KI-Modell erzeugt. Diese anthropomorphe Sprache scheint für viele auch eine Notwendigkeit zu sein, weil OpenAI das Innenleben von ChatGPT nicht vollständig offenlegt und die Blackbox aus komplexen Mechanismen etwas Mysteriöses und Undurchsichtiges bleibt.
Während die Berichte über eine offensichtliche Störung des Sprachmodells also schnell – auf ihre Art – die Runde machten, wurde auch Entwickler OpenAI auf das Problem aufmerksam und bestätigte zunächst mit einem Status-Update, dass das Problem bereits identifiziert sei und man daran arbeite, es zu beheben. In einer weiteren Rückmeldung erklärte man kurze Zeit später, dass das Problem behoben sei: Ein Fehler im Inferencing-Kernel führte dazu, dass auf einigen Grafikeinheiten inkorrekte Werte ausgegeben wurde, was das KI-Modell wiederum dazu veranlasste, falsche Wörter auszuspucken – die dann in komplett sinnlose Ausgaben mündeten.
Unzuverlässige Assistenten
Vorfälle wie dieser sind nichts Neues und kommen seit dem Beginn des Hypes um generative KI regelmäßig vor. Generell bezieht sich das sogenannte Halluzinieren von Chatbots auf eine Tendenz von KI-Systemen, ungenaue, inkonsistente oder vollständig erfundene Informationen zu erzeugen, die nicht auf den Eingaben des Benutzers oder den verfügbaren Daten basieren.
Dieses Verhalten ist häufig das Ergebnis komplexer Interaktionen innerhalb der neuronalen Netze des Chatbots, die darauf trainiert sind, menschenähnliche Antworten zu simulieren. Da diese Systeme nur auf Wahrscheinlichkeiten basieren und Muster in riesigen Datensätzen erkennen, können sie manchmal durch seltene oder mehrdeutige Eingaben und eben Fehler im System verwirrt werden und Antworten erzeugen, die scheinbar keinen Sinn ergeben oder nicht mit der Realität übereinstimmen. Dies kann zu Verwirrung bei den Nutzern führen und sollte – zu Recht – die Glaubwürdigkeit und Zuverlässigkeit solcher KI-Systeme infrage stellen.
Ein weiterer Aspekt solcher Halluzinationen bei Chatbots ist, dass sie einmal mehr die Grenzen und Herausforderungen bei der Entwicklung künstlicher Intelligenz aufzeigen. Trotz erheblicher technologischer Fortschritte sind KI-Modelle noch weit davon entfernt, menschliches Verständnis oder menschliche Intuition auch nur ansatzweise vollständig nachzuahmen. Halluzinatorische Antworten können nicht zuletzt das Ergebnis einer Überanpassung sein, bei der ein Modell zu spezifisch auf Trainingsdaten reagiert und nicht in der Lage ist, flexibel auf neue oder abweichende Eingaben zu reagieren. Eine gesunde Portion Skepsis darf man also auch dann noch Chatbots entgegenbringen, wenn die Antworten nicht so ein offensichtlicher Bullshit sind wie in diesem Fall. (bbr, 22.2.2024)