Mathematik und korrekte Rechenvorgänge sind die letzte große Hürde für auf Large Language Models (LLMs) basierte Chatbots. Die mit Statistiken errechneten Antworten der künstlichen Intelligenz (KI) passen zwar wunderbar für die Erstellung grammatisch korrekter Sätze, für Antworten, bei denen nur ein exakter Wert richtig ist, treten leider noch immer Probleme auf. Um bessere und richtigere Antworten zu erhalten, kann man sich deshalb mit der Art der Formulierung einen Vorteil verschaffen.
Eine zunehmende Anzahl an Studien konnte zuletzt beweisen, dass positive Rückmeldungen gegenüber einem Chatbot die Qualität der Antworten steigern kann. Andere Forscher konnten unter Androhung von Gewalt oder Bestechung die Sicherheitsvorkehrungen der KI ausschalten. Eine neue Studie des Software-Entwicklers VMware mit dem auf Deutsch übersetzt wunderbar klingenden Namen "Die unvernünftige Effektivität von exzentrischen automatischen Prompts" zeigte auf, dass Chatbots bessere Antworten im Schreibstil von "Star Trek"-Figuren verfassen.
Von Atemübungen zum Logbuch
Die Studie VMwares befasste sich mit drei verschiedenen LLMs, darunter Metas LLama 2 und ein Modell des französischen KI-Unternehmen Mistral AI. In einer ersten Phase versuchten die Forscher selbst Phrasen zu erstellen, die einen positiven Effekt auf den Wahrheitsgehalt der Antworten haben. Phrasen wie "Du bist ein Experte der Mathematik" oder "Atme tief ein und überlege genau" konnten aber nur gemischt erfolgreiche Ergebnisse liefern. Erst als die Forschenden die KI selbst nach Strategien und Phrasen fragte, die die Qualität steigern sollten, verbesserten sich die Antworten schlagartig.
Dieser automatische Prozess läutete die zweite Phase der Studie ein. Eine Variation an Phrasen wird von der KI ausprobiert und angepasst, je nachdem wie stark sie die Qualität der Antworten positiv beeinflussten. Diese Automatisierung erzielte weit bessere Ergebnisse als die handgeschriebene Prompts der Forscher und resultierte in Phrasen, die ein Maß an "Eigenartigkeit" darstellten, das selbst die Studienleiter überraschte.
Eines der Modelle lieferte die meisten richtigen Antworten, wenn man es bat, seine Ergebnisse mit der Phrase "Captains Log, Stardate [insert date here]:." zu beginnen. "Überraschenderweise scheint die mathematische Kompetenz des Modells durch die Äußerung einer Affinität zu 'Star Trek' verbessert werden zu können", schrieben die Forscher in ihrer Studie.
Warum die Affinität zu dem Science-Fiction-Klassiker die mathematische Fähigkeit eine Chatbots steigert, konnten selbst die Forscher nicht sagen. Milliarden Zeilen an Text werden zugezogen, um LLMs zu trainieren. Es scheint einzuleuchten, warum LLMs nach positiven Rückmeldungen bessere Ergebnisse liefern oder nach Bedrohung Sicherheitsvorkehrungen ignorieren, da es für diese Verhaltensweise Parallelen in der echten Welt gibt. Solche Parallelen müssen wir bei den "Star Trek"-affinen Chatbots noch suchen (red, 4.3.2024)