Die Frage, wie die durch den Artificial Intelligence Act ("AI Act") regulierten "Systeme künstlicher Intelligenz" (kurz: "KI-Systeme") abzugrenzen sind, mutet zunächst sehr technisch an. Tatsächlich ist sie jedoch von zutiefst menschlicher Bedeutung. Dies stellte etwa der zuletzt größere Aufmerksamkeit erhaltende Post-Office-Skandal in Großbritannien unter Beweis, in dessen Rahmen über 20 Jahre hinweg etwa 700 Postbeamte wegen angeblich falscher Buchhaltung strafrechtlich verfolgt und dadurch teils wirtschaftlich ruiniert wurden – zu Unrecht, wie sich herausstellte, da die verwendete Buchhaltungssoftware schlicht falsche Zahlen generierte.

Noch Ende letzten Jahres tat der Europäische Gesetzgeber nun jedenfalls einen wichtigen Schritt in Richtung der Verabschiedung des AI Act. Nach zähen Trilog-Verhandlungen rangen sich Parlament, Rat und Kommission am 9.12.2023 wider Erwarten doch noch zu einer vorläufigen politischen Einigung auf den Gesetzestext durch. Eine realitätsnahe und praktikable Definition der durch den AI Act regulierten KI-Systeme sucht man allerdings weiterhin vergeblich.

Von "Software" zu "maschinengestütztes System"

Der ursprüngliche Gesetzesvorschlag der EU-Kommission stellte bei KI-Systemen zunächst noch auf "Software" ab, die mit bestimmten konkret angeführten "Techniken und Konzepten" (wie etwa Deep Learning, Inferenz- und Deduktionsmaschinen und statistische Ansätze) entwickelt wurde. Dieser Definitionsansatz war jedoch insofern problematisch, als er einerseits mit "Software" zu weit und andererseits mit der Nennung konkreter "Techniken und Konzepte" zu eng gefasst und daher insgesamt wenig treffsicher war.

Auch dem EU-Gesetzgeber scheint dies nicht verborgen geblieben zu sein und wurde daher ein neuer Definitionsansatz erarbeitet, der nun auch Eingang in den vorläufig geeinigten Text fand: KI-Systeme werden nunmehr als "maschinengestütztes System" definiert, "das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das physische oder virtuelle Umfeld beeinflussen."

"Maschine" ­– auch ohne bewegliche Teile?

Mit der Bezeichnung "maschinenbasiert" bezieht sich der AI Act darauf, dass KI-Systeme von Maschinen betrieben werden. Eine eigene Definition, was unter "Maschine" in diesem Zusammenhang konkret zu verstehen ist, bietet der AI Act allerdings nicht.

Die Terminologie ist jedenfalls insofern äußerst unglücklich gewählt, als eine Maschine sowohl nach dem allgemeinen Sprachgebrauch als auch als unionsrechtlich definierter Begriff (insbesondere durch die EU-Maschinen-VO) zumindest einen beweglichen Teil voraussetzt. Im Kontext des AI Act trägt dies allerdings nicht dem Umstand Rechnung, dass viele Computer seit der weitgehenden Ablöse herkömmlicher Festplatten (Hard-Disk-Drives, HDD) durch sogenannte Solid-State-Drives (SSD) auf keine beweglichen Teile mehr angewiesen sind.

Bewegliche Teile wird man daher auf den Computern, auf denen KI-Systeme laufen, in vielen Fällen vergeblich suchen. In der Praxis ist wohl damit zu rechnen, dass dessen ungeachtet diverse Arten von Computern (darunter sowohl klassische als etwa auch Quantencomputer) als "Maschinen" im Sinne des AI Act qualifiziert werden.

Mehr niederschwellige Beschreibung, denn echte Definition

Darüber hinaus wirft die im AI Act enthaltene Definition von KI-Systemen aber einige weitere Fragen auf – jedenfalls mehr, als sie derzeit wirklich belastbar beantwortet.

Problematisch ist insbesondere etwa auch der Verweis auf den "unterschiedlichen Grad an Autonomie", mit dem diese operieren können müssen. Der AI Act meint damit, dass KI-Systeme zumindest bis zu einem gewissen Grad unabhängig von menschlicher Kontrolle agieren und in der Lage sein müssen, ohne menschliches Eingreifen zu arbeiten.

Begrifflich umfasst eine solche Autonomie im Ergebnis allerdings de facto jede Software. In der Umsetzung der einer Software erteilten Anweisung wird der Software zumindest ein gewisser Grad an Unabhängigkeit zuzugestehen sein. Damit trägt auch der geforderte "unterschiedliche Grad an Autonomie" bei näherer Betrachtung nicht viel zur Abgrenzung des Begriffs KI-System bei.

Auch das im AI Act erwähnt zusätzliche Abgrenzungskriterium, dass ein System die "wesentlichen Merkmale" der künstlichen Intelligenz aufweisen muss, hilft nicht viel weiter, weil diese Merkmale nicht abschließend bezeichnet werden. Lern-, Schlussfolgerungs- oder Modellierungsfähigkeiten werden lediglich als Beispiele genannt. Ob diverse klassische Hochrisiko-Systemen, die ohne Lern-, Schlussfolgerungs- oder Modellierungsfähigkeiten implementiert sind (z. B. simple biometrische Identifizierungssysteme oder Systeme zur Kreditwürdigkeitsprüfung) KI-Systeme sind, werden daher erst Gerichtsverfahren zeigen.

Ausschluss einfacherer KI

Immerhin versucht der AI Act im Kontext der KI-Systeme eine eher praxistaugliche Eingrenzung im Hinblick auf "einfachere Softwaresysteme und Programmierungsansätze". Dadurch sollte zumindest sichergestellt sein, dass etwa simple Excel-Dokumente (die zum Beispiel Leistungskennzahlen von Mitarbeitern errechnet, um die Beförderungsreife zu ermitteln) kein KI-System darstellen. Auch in diesem Zusammenhang ist jedoch mitnichten klar, wo die Trennlinie zwischen KI-System und Nicht-KI-System in der Praxis zu ziehen sein wird.

Letze Chance zur Nachbesserung

Der Anfang Dezember von EU-Parlament und Rat vorläufig geeinigte Text harrt zurzeit seiner finalen (technischen) Ausgestaltung und seiner abschließenden formellen Beschlussfassung. Der nächste entscheidende Schritt ist ein Beschluss des Rates am 2. Februar. Tiefgreifende Änderungen sind wohl keine mehr zu erwarten. Eine Gelegenheit, die Definition der KI-Systeme realitätsnäher zu gestalten, gäbe es aber theoretisch noch.

Es bleibt abzuwarten, ob davon auf den sprichwörtlichen letzten Metern noch Gebrauch gemacht wird. Für den nicht unwahrscheinlichen Fall, dass dem nicht so ist, wird spannend, wie in der Praxis mit der Definition der KI-Systeme umgegangen wird, insbesondere in jenen Fällen, in denen sehr simple Software große Schäden verursacht. (Lukas Feiler, Alexander Hofmann, Beat König, 19.1.2024)