Meta verspricht, dass das neue Sprachmodell LLaMA "wettbewerbsfähig" sei. In der Vergangenheit ist das Unternehmen schon einmal an KI-Tools gescheitert.

Foto: Reuters/Ruvic

Meta nimmt jetzt offiziell am KI-Wettrüsten der großen Tech-Unternehmen teil. Am Freitag gab die Facebook-Mutter bekannt, dass sie Forschern ein neues großes Sprachmodell zur Verfügung stellt. Es trägt den Namen LLaMA (Large Language Model Meta AI) und soll in den meisten Benchmarks besser sein als das Sprachmodell GPT-3 von OpenAI und PaLM von Google.

Das große Sprachmodell LLaMA wird unter nicht-kommerzieller Lizenz für Forscher und Einrichtungen der Regierung, der Zivilgesellschaft und der akademischen Welt zur Verfügung stehen, teilte das Unternehmen in einem Blog mit. Große Sprachmodelle sind die Kernsoftware eines neuen Systems für künstliche Intelligenz. Sie durchsuchen riesige Textmengen, um Informationen zusammenzufassen und Inhalte zu generieren. Sie können zum Beispiel Fragen mit Sätzen beantworten, die sich so lesen, als wären sie von Menschen geschrieben.

Große Versprechen

Meta verspricht, dass LLaMA nicht nur GPT-3 vom ChatGPT-Entwickler OpenAI übertreffen könne. Es sei auch "wettbewerbsfähig" mit Chinchilla70B und PaLM-540B – zwei Sprachmodellen von Google, die größer sind als das Modell, das Google für die Präsentation seiner Chat-gestützten Bard-Suche verwendet hat.

Eine Sprecherin von Meta führte die Leistung auf eine größere Menge "sauberer" Daten und "architektonische Verbesserungen" des Modells zurück, die die Trainingsstabilität erhöhten. LLaMA soll "weit weniger" Rechenleistung benötigen als frühere Angebote und wurde für 20 Sprachen trainiert, wobei der Schwerpunkt auf Sprachen mit lateinischen und kyrillischen Alphabeten liegt.

Erster Anlauf gescheitert

Es ist nicht der erste Versuch der Facebook-Mutter im Bereich großer Sprachmodelle. Bereits im Mai letzten Jahres veröffentlichte Meta OPT-175B, das sich ebenfalls an Forscher richtete und die Grundlage für eine neue Version des Chatbots BlenderBot bildete.

Danach stellte Meta ein Modell namens Galactica vor, das wissenschaftliche Artikel schreiben und mathematische Probleme lösen konnte, zog die Demo nach drei Tagen aber schnell wieder zurück. Der Grund: Galactica soll grundlegend falsche und rassistische Informationen geliefert haben. Unter anderem erfand die KI einen Artikel über Bären im Weltall. (red, 25.02.2023)