Am 7. Dezember des vergangenen Jahres entschied der Europäischen Gerichtshof (EuGH), dass eine "automatisierte Entscheidung" im Sinne der Datenschutz-Grundverordnung (DSGVO) auch dann vorliegt, wenn ein Wahrscheinlichkeitswert automatisiert errechnet wird und eine Entscheidung eines Menschen von diesem Wahrscheinlichkeitswert maßgeblich abhängt (EuGH 7.12.2023, C-634/21 – Schufa). Mit dieser Entscheidung des EuGH wurde der Anwendungsbereich der datenschutzrechtlichen Regulierung von automatisierten Entscheidungen erheblich erweitert. Denn bis dahin wurde die automatisierte Vorbereitung einer Entscheidung auch von der Datenschutzbehörde nicht als "Entscheidung" betrachtet.

Dem Verfahren vor dem EuGH lag ein Rechtsstreit über die Berechnung der Kreditwürdigkeit einer Person (Bonitätsscore) zugrunde. Die deutsche Kreditauskunftei Schufa hatte auf Anfrage einer Bank zur Klägerin einen Bonitätsscore errechnet. Dieser war aus Sicht der Bank unzureichend, weshalb sie der Klägerin den beantragten Kredit nicht gewährte. Die Klägerin reichte daraufhin Beschwerde bei der Hessischen Datenschutzbehörde und in weiterer Folge Klage beim Verwaltungsgericht Wiesbaden ein. Das Verwaltungsgericht Wiesbaden hatte Zweifel, ob die Tätigkeit der Schufa eine automatisierte Entscheidung im Sinne der DSGVO darstellt, und legte diese Frage dem EuGH zur Entscheidung vor.

Vorbereitung einer Entscheidung als Entscheidung

Indem der EuGH die Berechnung eines Bonitätsscores in Vorbereitung der nachgelagerten Entscheidung über die Kreditgewährung bereits für sich betrachtet als Entscheidung gewertet hat, bringt er zum Ausdruck, dass jeglicher Algorithmus, dessen Ergebnis eine "maßgebliche" Grundlage für eine Entscheidung ist, datenschutzrechtlich reguliert ist (Artikel 22 DSGVO).

Demgegenüber wurde bisher vielfach die Ansicht vertreten, dass keine automatisierte Einzelentscheidung vorliegt, wenn die Letztentscheidung nach einem automatisierten Verarbeitungsvorgang von einer Person getroffen wird. So gelangte das Bundesverwaltungsgericht (BVwG) in einem Verfahren betreffend das Arbeitsmarktchancen-Assistenz-System des Arbeitsmarktservice Österreich (AMS) zur Ansicht, dass keine automatisierte Einzelentscheidung im Sinne der DSGVO vorliegt, weil die AMS-Mitarbeiter:innen die Letztentscheidung selbst treffen (BVwG 18.12.2020, W256 2235360-1/5E).

Nach dem nunmehrigen Urteil des EuGH hingegen liegt eine automatisierte Entscheidung auch dann vor, wenn die Letztentscheidung von einer Person getroffen wird, ihre Entscheidung aber "maßgeblich" von einer zuvor durchgeführten automatisierten Berechnung abhängt.

Folgen der nachgelagerten Entscheidung maßgeblich

Nach der DSGVO ist eine automatisierte Einzelentscheidung dann reguliert, wenn sie entweder Rechtsfolgen hat (etwa Vertragsabschluss oder -kündigung) oder den Betroffenen auf sonstige Weise erhebliche beeinträchtigt. Nach dem Urteil des EuGH gilt die Berechnung der Entscheidungsgrundlage bereits als "Entscheidung". Es stellt sich daher die Frage nach den Folgen dieser Entscheidung. Faktisch zieht beispielsweise die Berechnung eines Bonitätsscores für sich genommen noch gar keine Folgen nach sich, sondern erst die nachgelagerte Entscheidung eines Menschen über die Kreditvergabe. Um dennoch die vorgelagerte Berechnung unter die datenschutzrechtliche Regulierung automatisierter Entscheidungen zu bringen, rechnet der EuGH die Folgen der nachgelagerten Entscheidung bereits der vorgelagerten Berechnung zu.

Im Ergebnis bedeutet das Urteil des EuGH, dass bereits jede automatisierte Vorbereitung einer nachgelagerten Entscheidung eine streng regulierte automatisierte Entscheidung im Sinne der DSGVO ist.

EuGH-Urteil betrifft unzählige Branchen

Das Urteil des EuGH hat weitreichende Implikationen für eine Vielzahl von Branchen. Denn nicht nur bei der Kreditvergabe werden automatisiert erstellte Wahrscheinlichkeitswerte (Scores) als Unterstützung für nachgelagerte Entscheidungen herangezogen. Beispielsweise sind viele Unternehmen dazu verpflichtet, das Risiko der Geldwäsche bei einzelnen Transaktionen zu prüfen. Dies erfolgt jedenfalls bei größeren Unternehmen typischerweise durch die Errechnung von Scores.

Selbiges gilt für die Prüfung der Wahrscheinlichkeit, dass es sich bei einzelnen Transaktionen um Betrugsversuche handeln könnte oder dass diese gegen Handelssanktionen und Wirtschaftsembargos verstoßen könnten (zum Beispiel Russland-Sanktionen). Auch im Personalwesen ist die Heranziehung von leistungsabhängigen Scores – oft auch als "Key Performance Indicators" oder "KPIs" bezeichnet – weit verbreitet. Diese dienen häufig als Grundlage für eine Entscheidung über eine Beförderung, Gehaltserhöhung oder Bonuszahlung. All diese Score-Berechnungen unterliegen nunmehr aufgrund der Entscheidung des EuGH mit hoher Wahrscheinlichkeit der strengen Regulierung der DSGVO.

Automatisierte Entscheidung nur in Ausnahmefällen zulässig

Nach der DSGVO besteht grundsätzlich ein Verbot automatisierter Einzelentscheidungen, die gegenüber Betroffenen rechtliche Wirkungen entfalten oder diese auf ähnlich erhebliche Weise beinträchtigen. Automatisierte Einzelentscheidungen sind nur in drei Fällen zulässig: Erstens, wenn die betroffene Person ausdrücklich in die Automatisierung der Entscheidung einwilligt. Damit diese Einwilligung wirksam ist, muss sie allerdings frei sein. Zudem kann sie jederzeit widerrufen werden.

Zweitens ist eine Automatisierung zulässig, wenn sie für den Abschluss oder die Erfüllung eines Vertrages erforderlich ist. Dies wird nur in Ausnahmefällen gegeben sein, wenn der Vertrag tatsächlich nicht anders abgeschlossen oder erfüllt werden kann. Auf diese Rechtsgrundlage kann die Verwendung sensibler Daten (zum Beispiel Gesundheitsdaten) für eine automatisierte Entscheidung allerdings nicht gestützt werden.

Drittens ist eine Automatisierung zulässig, wenn sich diese auf eine gesetzliche Grundlage stützen kann. Es gibt tatsächlich ein vielen Branchen gesetzliche Anforderungen, die praktisch nur durch Automatisierung erfüllt werden können. Bei vielen dieser gesetzlichen Anforderungen ist strittig, ob diese eine hinreichende Rechtsgrundlage für "automatisierte" Entscheidungen sind.

Im Gegensatz zu sonstigen Verarbeitungstätigkeiten können automatisierte Einzelentscheidungen insbesondere nicht auf ein überwiegendes berechtigtes Interesse des Unternehmens gestützt werden. Im Ergebnis ist daher bereits die Zulässigkeit vieler automatisierter Einzelentscheidungen fraglich.

Hohe Transparenz erforderlich

Bei Vorliegen automatisierter Entscheidungen bestehen darüber hinaus erhöhte Transparenzanforderungen. Erstens verlangt die DSGVO, dass den betroffenen Personen offengelegt wird, dass eine automatisierte Entscheidung erfolgt und welche Tragweite diese hat.

Zweitens ist es erforderlich, dass Unternehmen auf Anfrage Betroffener aussagekräftige Informationen über die involvierte Logik der automatisierten Entscheidungsfindung in einfacher und verständlicher Weise offenlegen. Es muss daher erklärt werden, wie der Algorithmus funktioniert. Der auch gesetzlich anerkannte Schutz von Geschäftsgeheimnissen führt hierbei regelmäßig zu Rechtsstreitigkeiten

Unternehmen müssen betroffenen Personen darüber hinaus die Möglichkeit bieten, ihren eigenen Standpunktes darzulegen und die automatisierten Entscheidung anzufechten. Über die Anfechtung muss seitens des Unternehmens ein Mensch entscheiden, sodass jedenfalls eine De-Automatisierung stattfinden muss.

KI-Verordnung: Zu viel des Guten?

Auffallend ist, dass der Anwendungsbereich der bereits geltenden Regulierung automatisierter Entscheidungen nicht geklärt wurde, bevor die neue KI-Verordnung auf den Weg gebracht wurde. Wie allzu oft hat man sich daher statt auf den Vollzug bestehender Gesetze auf die Schaffung neuer Gesetze konzentriert. Dies ist durchaus verständlich, weil der Vollzug von Gesetzen erhebliche Budgetmittel erfordert.

Allerdings führt dies zu einer enormen Regulierungsdichte. Das Verhältnis der einzelnen Regelungen zueinander stellt sowohl die regulierten Unternehmen als auch die unterschiedlichen zuständigen Behörden vor Herausforderungen.

Eine weitere Folge der regelmäßigen Schaffung neuer Regulierung ist konstante Rechtsunsicherheit. Wie das vorliegende Urteil des EuGH zeigt, dauert es häufig viele Jahre, bis der EuGH zentrale Fragen der Interpretation von EU-Verordnungen beantwortet. Werden neuen Verordnungen schneller erlassen, als der EuGH die Rechtsunsicherheit in bestehenden Verordnungen beseitigen kann, sehen sich Unternehmen und Behörden gleichermaßen einer immerwährenden Rechtsunsicherheit ausgesetzt.

Verhältnis zur KI-Verordnung

Die KI-Verordnung beinhaltet eine sehr weitreichende und unpräzise Definition von KI-Systemen, die im Ergebnis jegliche Software umfassen könnte. Jede automatisierte Entscheidung im Sinne der DSGVO wird daher mit hoher Wahrscheinlichkeit auch von der KI-Verordnung reguliert sein.

Die KI-Verordnung folgt einem risikobasierten Ansatz und gliedert KI-Systeme abhängig von ihrem Gefährdungspotenzial in unterschiedliche Risikokategorien. Abhängig von der Kategorisierung ist die Nutzung der KI-Systeme verboten, nur unter Einhaltung strenger Sicherheits- und Transparenzanforderungen oder bei Einhaltung minimaler Anforderungen zulässig.

Die DSGVO soll von der KI-Verordnung grundsätzlich unberührt bleibt. Demnach werden beide Verordnungen nebeneinander gelten. Sofern bei der Nutzung von KI-Systemen personenbezogene Daten verarbeitet werden, werden die Anbieter und Betreiber dieser KI-Systeme verpflichtet sein, die Vorgaben der KI-Verordnung sowie die Vorgaben der DSGVO einzuhalten.

Folgen des Gerichtsspruchs

Mit diesem Urteil des EuGH wurde die bestehende KI-Regulierung der DSGVO auf unzählige neue Bereiche ausgedehnt. Unternehmen sind daher gut beraten sich bereits jetzt mit KI-Regulierung auseinanderzusetzen und nicht auf die bevorstehende Verabschiedung der KI-Verordnung in Brüssel zu warten. (Lukas Feiler, Adrian Brandauer, 23.1.2024)