Österreich gilt generell nicht unbedingt als Vorreiter bei der Digitalisierung, und auch das Jahr 2024 begann für die Alpenrepublik mit einer Blamage. So wies ein vom AMS präsentierter Chatbot zur Beantwortung von Fragen der Arbeitssuchenden diverse technische und inhaltliche Mängel auf. Basierend auf OpenAIs bekanntem KI-Chatbot ChatGPT reproduzierte der Bot unter anderem die stereotypischen Rollenbilder der Trainingsdaten, mit denen das Modell des US-Unternehmens trainiert worden war: Frauen wurden etwa Berufe im Modehandel oder im Friseurgewerbe, männlichen Arbeitssuchenden hingegen Tätigkeiten in der IT-Branche nahegelegt. Außerdem konnten Userinnen und User Anfragen ausführen, die eigentlich hätten vermieden werden sollen. DER STANDARD hat ausführlich berichtet.
Parlamentarische Anfrage
Nun beschäftigt das Thema auch die Politik, konkret Arbeitsminister Martin Kocher. Denn die SPÖ-Abgeordneten Mario Lindner, Eva-Maria Holzleitner und Katharina Kucharowits hatten gemeinsam mit Parteikollegen am 11.1. eine parlamentarische Anfrage an den Minister eingebracht, die dieser nun beantworten muss. Am 17.1. folgte eine weitere parlamentarische Anfrage von Douglas Hoyos-Trauttmansdorff, Gerald Loacker und anderen Neos-Abgeordneten.
Grundlegend stellen die Abgeordneten die Frage, welche Ziele eigentlich bei der Erstellung der AMS-Anwendung verfolgt wurden, für die Anschaffungskosten in Höhe von 300.000 Euro kolportiert werden, obwohl es sich um eine nur leicht adaptierte Version einer "Softwarelösung von der Stange" handelt. In der Anfrage der Neos wird betont, dass das Start-up Jobiqo einen Bot mit ähnlichen Funktionen innerhalb weniger Minuten und zu einem Bruchteil der Kosten nachgebaut habe. DER STANDARD berichtete.
"Kreative Berufe" für Homosexuelle
Zudem bemängeln die SPÖ-Abgeordneten neben den sexuellen Vorurteilen im System auch welche in Bezug auf Migrationsgeschichte, Namen und sexuelle Orientierung. So werden etwa einem homosexuellen Mann automatisch "kreative Berufe" vorgeschlagen, schreiben die Abgeordneten.
Entsprechen werden von beiden Parteien ausführliche Fragenkataloge an den Minister gerichtet, die sich auf verschiedene Themenbereiche aufteilen. So möchte man unter anderem wissen, wie es in puncto Datenschutz und wie es um die Trainingsdaten des AMS-Bots steht: Welche Daten wurden bisher verwendet, aus welchen Quellen wurden diese gespeist, und ist geplant, künftig weitere Daten als Trainingsmaterial zur Verfügung zu stellen?
Auch möchte man wissen, welche Verbesserungen seit der Veröffentlichung zur Behebung der Probleme vorgenommen wurden, welche weiteren Anwendungen geplant sind – und welchen konkreten Mehrwert das 300.000-Euro-Projekt überhaupt gegenüber bisherigen frei zugänglichen KI-Chatbots haben soll.
Goodguys und das AMS
Und dann wird noch gefragt, wie sich die genannten Gesamtkosten aufgliedern und ob auch andere Angebote eingeholt wurden. Hier äußerst auch ein Brancheninsider gegenüber dem STANDARD Bedenken, der anonym bleiben möchte. Konkret geht es dabei um die KI-Firma Goodguys GmbH aus Wien, die im Kontext des AMS-Bots immer wieder genannt wird.
Die Goodguys GmbH hat drei Geschäftsführer und Gesellschafter: Raimund Oberreiter, Christian Dandachi und Josef Füricht. Bei Letztgenanntem macht der Insider auf einen Eintrag in dessen Biografie aufmerksam: Füricht war von 2007 bis 2014 Prokurist der EDVG, die wiederum Teileigentümerin der AMSBG war. Dieses Unternehmen betrieb die IT des AMS, bis diese Aufgabe 2011 an einen anderen Betreiber übergeben wurde. Der Wechsel hatte mehrere Jahre in Anspruch genommen, den Zuschlag bekam schließlich IBM, allerdings nicht zur Zufriedenheit aller Beteiligten. Inzwischen wird die IT des AMS vom Bundesrechenzentrum (BRZ) betrieben.
Ein Gesellschafter von Goodguys war also Prokurist in einem Unternehmen, das Teileigentümer des IT-Dienstleisters des AMS war und "kennt das AMS somit von innen", wie der Insider meint. Den entsprechenden Eintrag im Lebenslauf bestätigen sowohl Goodguys als auch das AMS auf Anfrage des STANDARD. Man widerspricht aber Vorwürfen, dass der Auftrag an Personen vergeben wurde, die dem AMS nahestehen. "Seit dem Wechsel der AMS-IT zu IBM gab es zwischen Josef Füricht und dem AMS keine Geschäftsbeziehung", heißt es. Zwischen den Teams von Goodguys und dem AMS bestehe seit 2023 eine korrekte Arbeitsbeziehung.
Keine Ausschreibung
Beantwortet wird gegenüber dem STANDARD aber auch die Frage, ob es eine Ausschreibung gegeben hat: Die gab es nicht, da laut AMS die Kosten für den Prototyp bei Goodguys deutlich unter der Ausschreibungsgrenze lagen. "Darüber hinaus wurden die weiteren Arbeiten am Berufsinfomat mit dem Generaldienstleister des AMS abgewickelt", heißt es weiter. Gemeint ist damit das BRZ.
Der Auftrag ist laut AMS an Goodguys vergeben worden, "weil Goodguys nachweislich Expertise im Bereich generative KI vorweisen konnte und bereits ähnliche Modelle im Tourismus umgesetzt hatte". Der ursprüngliche Kontakt mit Goodguys sei dem AMS vom BRZ vermittelt worden.
Aufgliederung der 300.000 Euro
In diesem Kontext wird auch aufgegliedert, wie sich die Aufträge und das Budget von 300.000 Euro aufteilen. Die Goodguys GmbH sei nämlich nur mit der Entwicklung eines Prototyps beauftragt worden, heißt es vom AMS. "Nach einer mehrmonatigen Testphase (Proof of Concept) mit dem AMS wurde das System an das BRZ für den weiteren Betrieb übergeben." Die Firma Goodguys habe keinen weiteren Vertrag mit dem AMS, sondern operiere als Subunternehmer des BRZ. Der technische Projektbetrieb umfasst unter anderem die Einrichtung einer physischen und technischen Infrastruktur, Konfiguration und Deployment, Integration auf die Webseite ams.at, Erstellung von Schutzbedarfsanalyse, Sicherheitskonzept, Herstellen von Barrierefreiheit und TÜV-Überprüfung.
Entsprechend erging laut AMS auf Nachfrage des STANDARD auch nicht das gesamte Budget an das private Unternehmen, sondern insgesamt knapp 70.000 Euro für die Erstellung des besagten Prototyps. Das restliche Geld ging ans BRZ, welches auch die zukünftige Wartung, Betreuung und Weiterentwicklung übernimmt. Der Auftrag dazu müsse aber noch erfolgen, heißt es aus dem AMS. "Die genauen Kosten lassen sich daher noch nicht abschätzen und werden zudem von der Nutzung des Berufsinfomat abhängig sein."
"Unterhalb der marktkonformen Vergütung"
Die Erstellung des Proof of Concept dauerte laut Goodguys auf Anfrage des STANDARD von 27. April 2023 bis 31. Oktober 2023. Im Zuge der gewünschten weiteren Pilotnutzung und internen Erprobung des Berufsinfomat wurde eine zusätzliche Abdeckung der laufenden Aufwände für die Zeit von 1. November 2023 bis 31. Dezember 2023 vom AMS beauftragt. Insgesamt war das Team also rund acht Monate beschäftigt. "Unsere Aufwände sind hierbei zum Großteil von den Customizing-Anforderungen des jeweiligen Kunden abhängig. Die dabei zur Verrechnung angewendeten Leistungsansätze wurden im Einvernehmen mit dem Kunden klar unterhalb der durchschnittlichen marktkonformen Vergütung festgelegt", heißt es weiter seitens Goodguys.
Erneut betont man auch beim AMS, dass man die Kosten als gerechtfertigt ansehe. Zwischen 3. und 10. Jänner 2024 seien mehr als 125.000 Fragen vom Berufsinfomat beantwortet worden. "Über 90 Prozent davon dienten der klassischen Berufsinformation", heißt es. "Mit Hinblick auf die vielen positiven Rückmeldungen und die Vielzahl an beantworteten Fragen halten wir die Kosten für sinnvoll eingesetzt."
Redaktioneller Fehler
Bleibt in diesem Kontext – abgesehen von diversen anderen in den parlamentarischen Anfragen angebrachten Punkten wie jenem des Datenschutzes und der künftigen Trainingsdaten – noch die Frage, wie es passieren konnte, dass Textschnipsel aus dem Berufsinfomat des AMS bei anderen Kundenprojekten der Goodguys GmbH auftauchten. So postete der Webentwickler David Bopp einen entsprechenden Screenshot von basel.com auf dem Kurznachrichtendienst X.
Beim AMS betont man, dass die spezifischen Inhalte des Projekts beim AMS bleiben und "nur bei uns verwendet" werden. "Die Technologie hinter dem Berufsinfomat gehört so wie bisher Goodguys."
Das Unternehmen Goodguys gesteht wiederum ein, dass "aufgrund eines redaktionellen Fehlers sich leider ein Textschnipsel des AMS im Disclaimer eines anderen Kunden eingeschlichen" habe. Man könne ausschließen, dass "AMS-spezifischer Content oder Code in irgendeiner Form mit anderen Kunden vermischt worden sind". Auch möchte man festhalten, dass die Lösung "aus selbst entwickelten Client- und Serverkomponenten besteht". Diese technische Grundlage komme beim AMS ebenso wie bei anderen Kunden zur Anwendung.
Über die Qualität dieser Eigenentwicklung lässt sich wiederum wunderbar streiten. So hatte sich der Softwareentwickler Mario Zechner das Projekt im Detail angesehen und seine Erkenntnisse in einem Thread auf X publikgemacht. Sein Urteil: "Der Code liest sich, als sei er von GPT-4 geschrieben worden." (Stefan Mey, 19.1.2024)