Mörder, Räuber, Diebe, Vergewaltiger. Im Verhandlungssaal 504 des größten Strafgerichts von Philadelphia entscheidet sich an gewöhnlichen Tagen das Schicksal mutmaßlicher Verbrecher. Doch an einem Mittwochnachmittag Mitte Juni werden nicht Zeugen vernommen und Angeklagte befragt. Stattdessen diskutieren Anwälte, Richter und NGO-Vertreter über einen Algorithmus.

Der Gesetzgeber des US-Bundesstaats Pennsylvania hat vor Jahren entschieden, dass künftig ein Computerprogramm Richtern dabei helfen soll zu entscheiden, welches Strafmaß ein verurteilter Straftäter bekommen soll. Der Algorithmus soll vorhersagen, wie hoch das Risiko ist, dass ein Delinquent in den kommenden drei Jahren wieder straffällig wird und damit eine Gefahr für die öffentliche Sicherheit darstellt.

Diese Bewertung soll ab 2019 in die Urteile einfließen. Dafür nutzt das Programm Variablen wie das Alter des Verurteilten, sein Geschlecht, Informationen zu seinem Verbrechen und zu früheren Verurteilungen bis zurück ins Jugendalter.

Fortgesetzte Diskriminierung

Die Anhörung zu dem Programm im Saal 504, zu der Juristen geladen haben, verläuft hitzig. Die Hautfarbe spielt als Variable beim Algorithmus zwar keine Rolle. Doch NGO-Vertreter warnen, dass das System die schon bestehende Diskriminierung von Schwarzen dennoch verstärken werde.

Schwarze werden in den USA häufiger polizeilich kontrolliert als Weiße. Das trägt dazu bei, dass sie im Vergleich zu Weißen häufiger im Gefängnis landen. Ein System, das Vorverurteilungen in die Risikoanalyse einbeziehe, schreibe die Diskriminierung fort.

Die Nutzung von Computerprogrammen zur Bewertung und Beurteilung von Menschen ist seit Jahrzehnten gängige Praxis. Florian Cech, der sich am Center for Informatics and Society der TU-Wien mit algorithmischen Systemen beschäftigt sagt, dass sich ein Wandel vollzieht: "Die Nutzung von Algorithmen dringt in neue Lebensbereiche vor. Die Auswirkungen für Menschen werden weitreichender."

Wenn wir auf Amazon ein falsches Produkt angeboten bekommen, ist das einzige Risiko, Zeit zu verschwenden. Die Entscheidung, wer auf Bewährung freikommt, wen die Fürsorge aufsucht und welches Angebot eine Arbeitsagentur macht, sind schwerwiegender.

Wirbel um AMS-Pläne

In Österreich hat der Plan des Arbeitsmarktservice (AMS), Arbeitssuchende künftig mithilfe eines Computersystems in drei Kategorien einzuteilen, für Schlagzeilen gesorgt. Zunächst läuft eine Testphase, doch ab 2020 könnt das individuelle Förderangebot beim AMS davon abhängig sein, welcher der Gruppen ein Arbeitssuchender zugeteilt wurde.

Arbeitsagenturen in den Niederlanden und in Dänemark verwenden bereits ähnliche Systeme. Die Volksanwaltschaft will den Algorithmus nun in einem Prüfverfahren unter die Lupe nehmen. Laut Volksanwalt Günther Kräuter wende sich das Verfahren gleichlautend an die AMS-Geschäftsführung und Frauenministerin Juliane Bogner-Strauß, da man vor allem Nachteile für strukturell benachteiligte Gruppen – darunter Frauen – fürchte.

Kräuter zum STANDARD: "Dass Frauen offenbar generell mit einer diskriminierenden Negativeinstufung zu rechnen haben, macht fassungslos." Die Volksanwaltschaft hofft durch ihre Prüfung auf eine "Grundsatzdiskussion der Konsequenzen dieses Projekts" – und auf eine weitestreichende Einbeziehung der Zivilgesellschaft.

Faktoren für Kindeswohl

In Pittsburgh, Pennsylvania, verwendet die Kinderfürsorge seit 2016 ein Programm, das bewertet, ob ein Kind misshandelt wird. 14.000 Anrufe gehen bei der Fürsorge jedes Jahr wegen Kindesmisshandlungen ein, von Lehrern, Nachbarn, Angehörigen. Oft ist es Fehlalarm. Manchmal sind Kinder aber in Lebensgefahr.

In Pittsburgh überprüft das Programm Daten aus zahlreichen Registern. Waren die Eltern des Kindes in medizinischer Behandlung wegen Drogensucht, sind sie vorbestraft oder wurde ihnen schon ein Kind abgenommen: All diese Informationen fließen in eine Risikobewertung ein. Stuft das Programm die Gefahr als hoch ein, muss binnen 24 Stunden die Jugendwohlfahrt die Familie aufsuchen. Andere Fälle werden aussortiert.

Das von zwei Uni-Professorinnen entwickelte Modell beruht auf der Auswertung zehntausender Anrufe aus den vergangenen Jahren. Dabei wurden Merkmale identifiziert, die bei der Risikoanalyse entscheidend sind.

Wahrscheinlichkeiten

In Philadelphia wird ein anderer Algorithmus genutzt, um Straftäter, die auf Bewährung entlassen werden, zu beurteilen: Das Programm stuft ein, wie hoch die Wahrscheinlichkeit ist, dass ein Ex-Sträfling wieder ein Verbrechen begeht. Je nach Einschätzung wird der Betroffene mehr oder weniger engmaschig überwacht.

In Chicago bewertet eine Software seit 2013, wie hoch das Risiko von Menschen ist, Opfer eines Schussattentats zu werden. In County Durham in Großbritannien hilft ein Algorithmus bei der Analyse, ob ein Verdächtiger aus der Untersuchungshaft entlassen werden kann.

"Der Ausgangspunkt bei der Entwicklung der neuen Algorithmen ist, bestehende menschliche Vorurteile mithilfe eines Programms zu besiegen", sagt die Informatikerin Sophia Olhede, die am University College London forscht. Ob Richter, Bewährungshelfer oder Jobbetreuer: Oft treffen Menschen, selbst Experten, aus dem Bauchgefühl heraus eine Entscheidung und rationalisieren diese erst später.

Tatsächlich zeigten Untersuchungen im Vorfeld der Entwicklung des Algorithmus in Pittsburgh etwa, dass die Fürsorge oft Zeit auf Kinder verschwendete, die gar nicht in Gefahr waren, während Anrufe über Fälle tatsächlicher Gewalt nicht weiter untersucht wurden.

Der Algorithmus soll helfen, eine objektive und fundierte Entscheidung zu treffen. Nebenbei dienen die Programme öffentlichen Verwaltungen mit knappen Budgets dazu, ihre Ressourcen effektiv einzusetzen. "Doch auch die Anwendung von Algorithmen hat gesellschaftliche Kosten", sagt Olhede.

Die Debatten über die Programme folgen weltweit ähnlichen Mustern. In den meisten Fällen bleibt die finale Entscheidung vorerst weiter bei Menschen, Algorithmen geben "nur" eine Empfehlung ab. TU-Forscher Florian Cech sagt jedoch, dass Menschen der Einschätzung eines Programms seltener widersprechen als einem anderen Menschen, weil die Systeme den Anschein einer ausgeklügelten Objektivität erwecken. Er sieht darin ein großes Problem.

Objektiv oder diskriminierend?

Der zentrale Vorwurf von Kritikern lautet, dass die Programme in Wahrheit nicht objektiv bewerten, sondern Diskriminierung weiter festschreiben. Dabei muss es gar nicht offensichtlich um Variablen wie Geschlecht oder Hautfarbe gehen. Auch der Rückgriff auf die Wohnadresse von Betroffenen kann bedeuten, dass Systeme Menschen unterschiedlich bewerten, weil zum Beispiel Schwarze in den USA in bestimmten Bezirken konzentriert bleiben.

Das System zur Bewertung der Risiken, die von Ex-Sträflingen ausgehen, wird genau deshalb kritisiert, weil die Adresse ein prognostischer Faktor ist. Ein anderer Kritikpunkt lautet, dass soziale Faktoren verstärkend wirken: Der Algorithmus, der in Pittsburgh beurteilt, ob Kinder in Gefahr sind, greift unter anderem auf Daten aus öffentlichen Spitälern zurück.

Ein armer Suchtkranker wird sich eher in einem solchen Krankenhaus behandeln lassen. Wer Geld hat, geht in eine Privatklinik. Dass Zahlen und Fakten zum Milieu eine Rolle bei der Risikoanalyse spielen, ist im Strafrecht, wo es immer um individuelle Beurteilung gehen sollte, schließlich besonders heikel.

Undurchschaubar

Doch es ist nicht einfach, festzustellen, ob Algorithmen tatsächlich eine Gruppe unfair behandeln. "Was Algorithmen undurchschaubar macht, ist die Eigenschaft, dass sie auf eine riesige Datenmenge zurückgreifen und Gewichtungen vornehmen, die dann zu einzelnen Entscheidungen führen", sagt Stefan Szeider von der TU-Wien. Allein auf Basis eines Merkmals zu sagen, dass ein Programm diskriminiere, sei schwierig.

Der Algorithmus in Pittsburgh wurde von unabhängigen Wissenschaftern geprüft, die zum Ergebnis kamen, dass das Computerprogramm weniger vorurteilsbehaftet ist als die Menschen, die zuvor alleine Entscheidungen trafen.

Eine Forderung nahezu aller Experten ist Transparenz: Algorithmische Systeme, die Annahmen, aber auch die Daten, auf denen sie beruhen, müssten öffentlich zugänglich sein. Das hilft zumindest Experten bei der Bewertung der Modelle.

In den USA ist die Praxis dazu unterschiedlich: Wie in Chicago die Risikobewertung zu Schussattentaten abläuft, ist nicht bekannt. Über den geplanten Strafbemessungsalgorithmus in Pennsylvania wird transparent diskutiert.

Das Modell wurde veröffentlicht, Interessierte konnten bei Anhörungen ihre Meinung abgeben. Nach harscher Kritik wie bei der Anhörung im Juni in Philadelphia wurde beschlossen, das Modell vorerst ein halbes Jahr lang weiterzuprüfen. Ob das System ab 2019 wirklich angewendet wird, entscheidet sich Anfang Dezember. (András Szigetvari, Peter Illetschko, 3.11.2018)