Beim aktuellen KI-Hype ist Skepsis bei Neuankündigungen ja meist angebracht. Viele Errungenschaften versprechen mehr, als sie zu leisten imstande sind, und manchmal ist von einer künstlichen Intelligenz (KI) weit und breit nichts zu sehen, aber "AI-powered" macht sich im Verkaufsmaterial eben besser.

Als das Land Kärnten Anfang der Woche den eigenen Chatbot KärntenGPT ankündigte, war das wieder so ein Fall: Die öffentliche Hand versucht, auf den Hypezug aufspringen, und in der Berichterstattung dazu werden wild Begriffe vermischt. Doch in Kärnten scheint man aus den Fehlern anderer gelernt zu haben. Ein Versuch der Aufdröselung des ersten lokalen KI-Konzepts des Landes.

Als im Jänner das Arbeitsmarktservice (AMS) vorpreschte und einen Chatbot auf ChatGPT-Basis vorstellte, geriet das Vorhaben schnell zum Fiasko. Der Chatbot hatte nicht nur einen Genderbias, behandelte also Männer und Frauen unterschiedlich, er lieferte auch faktisch falsche Informationen und erfand sogar Berufe. In einem Fall gab er sogar Tipps, wie man eine Leiche entsorgen kann. Der ganze Spaß kostete 300.000 Euro und entpuppte sich als eine Softwarelösung von der Stange.

Lokale KI im eigenen Rechenzentrum

Bei KärntenGPT soll das nicht passieren, denn anders als das AMS setzt das Land Kärnten auf eine lokale künstliche Intelligenz. Sprich: Der Chatbot läuft direkt in Kärnten, und die Verantwortlichen haben Zugriff auf das Trainingsmaterial. Bei einem Chatbot wie ChatGPT von OpenAI ist das nicht der Fall, hier sind die Daten ein gut gehütetes Geheimnis auf den internen Servern.

"Deshalb vertrauen wir diese keinem der großen weltweiten Anbieter an, die unsere Daten in einer externen Cloud abspeichern. Alle Daten werden auf unserer eigenen Landesinfrastruktur gespeichert und verarbeitet", erklärt der IT-Chef des Landes, Christian Inzko. Aus Datenschutzgründen könne das Land ohnehin keine Cloud-basierten Produkte verschiedener Anbieter nutzen. Deshalb komme ohnehin nur eine eigens entwickelte, lokal basierte Lösung infrage. Diese befindet sich aktuell im Probebetrieb und soll nach Ostern landesweit implementiert werden.

KärntenGPT hat dabei nichts mit ChatGPT von OpenAI zu tun, wie man vielleicht anhand des Namens vermuten möchte. GPT steht für Generative Pretrained Transformer, einen Begriff, den man frei verwenden könne, heißt es auf STANDARD-Nachfrage.

Mixtral und Llama

Aber wie kann das Land Kärnten nun eine künstliche Intelligenz lokal betreiben? Das wird mit dem Einsatz von Open-Source-Modellen erreicht. Und zwar kommt unter anderem Mixtral der französischen Firma Mistral zum Einsatz sowie Llama 2, das Modell von Facebook-Mutter Meta, wie Inzko gegenüber dem STANDARD erklärt. Dass das Land dafür noch Rechenleistung aufbauen muss, ist kein Geheimnis. Aktuell erlaubt der Probebetrieb auch nur 100 gleichzeitige Zugriffe auf die Anwendung, das System läuft derzeit also noch auf Sparflamme.

Aktuell wird KärntenGPT mit Daten gefüttert. Diese werden direkt auf den Rechnern im Rechenzentrum des Landes Kärnten gespeichert. Eingespeist werden nur Daten, die öffentlich sind und den Bürgerinnen und Bürgern zur Verfügung stehen sollen. "Es werden keine sensiblen Daten verwendet", so Inzko.

Ziel ist es beispielsweise, der Bürgerin beziehungsweise dem Bürger durch Abfragen wie "Wie erhalte ich einen Mietzuschuss?" umfassende Informationen in kürzester Zeit zur Verfügung zu stellen. Alle in der KI zur Verfügung stehenden Daten werden zudem vorab "datenschutzrechtlich gescreent", heißt es aus dem Büro des Landeshauptmanns.

Eng gefasstes Trainingsmaterial

Wie man vermeiden will, dass der Chatbot halluziniert und Informationen ausspuckt, die nichts mit einem Mietzuschuss, einer Wohnbauförderung oder einer Fischereikarte zu tun haben? Um genau das zu verhindern, wird die künstliche Intelligenz des Landes nur mit landesspezifischen Themen trainiert, sie hat auch keinen Zugriff auf das Internet, wie man beim Land Kärnten betont. Das bedeutet: Die KI soll nur fachspezifische Antworten geben können.

KI gegen Personalmangel

Doch wozu das alles? Die Kärntner Landesverwaltung hat ein Personalproblem, denn in den kommenden Jahren werden 40 Prozent der Landesbediensteten in Pension gehen. Darunter Fachkräfte, die wohl nur schwer ersetzbar sind. Unter anderem soll in Zukunft ein sprachgesteuerter Chatbot am Telefon alltägliche Anfragen beantworten. Das soll die Mitarbeiterinnen und Mitarbeiter entlasten und letztlich auch Wartezeiten reduzieren. Komplexere Themen sollen aber weiterhin persönlich besprochen werden können. Gleichzeitig sollen auch die Landesbediensteten selbst durch die KI-Anwendung schneller zur fachspezifischen Informationen kommen.

85.000 Euro Kosten

Aktuell hat der Chatbot rund 85.000 Euro inklusive der nötigen Hardware gekostet. Derzeit wird laut Inzko Personal aufgebaut, um die Anwendung zu entwickeln. Die laufenden Kosten beschränken sich auf den Eigenbetrieb der Server. Dabei ist allerdings davon auszugehen, dass die bestehende Serverkapazität nicht ausreichen wird und mehr Hardware nötig ist. Daher dürften die Kosten noch steigen, pro Server sind aktuell rund 50.000 Euro veranschlagt. Im Bedarfsfall werde auch mit lokalen Unternehmen zusammengearbeitet, wie etwa der Intranet Software und Consulting GmbH sowie der Imendo. Komplexere zukünftige Entwicklungen werden mit dem in Kärnten ansässigen Institut KI4Life von Fraunhofer geplant, erklärt Inzko. Ziel sei es aber, so oft es geht, auf eigene Ressourcen zurückgreifen zu können.

Start im Herbst

Ausprobieren kann man KärntenGPT aktuell aber noch nicht, das ist aktuell den Menschen im Landesdienst und den Entwicklerinnen und Entwicklern vorbehalten. Der Chef-ITler des Landes rechnet damit, dass KärntenGPT im Herbst für alle zur Verfügung stehen wird. (Peter Zellinger, 30.3.2024)