United Healthcare, der größte Gesundheitsversicherer der USA, sieht sich mit einer Sammelklage (PDF) konfrontiert. Die Vorwürfe wiegen schwer. Dem Konzern wird zur Last gelegt, Entscheidungen über Leistungen und Behandlungen einem KI-System zu überlassen, das vor allem mit einer hohen Fehlerquote auffällt.

Die Konsequenzen für die Betroffenen sollen teilweise schwerwiegend gewesen sein. Zudem soll United seine Mitarbeiter stark dazu gedrängt haben, die Entscheidungen des Systems umzusetzen. Eine Untersuchung von "Stat News" scheint große Teile der Klage zu bestätigen.

"Es nimmt den Patienten die Würde"

Es mangelt nicht an Beispielen fragwürdiger Empfehlungen des automatisierten Systems. Älteren Patienten wurden wichtige Behandlungen vorenthalten, Menschen in Rehabilitationsprogrammen oder in Pflegeeinrichtungen wurden viel früher als empfohlen aus selbigen entlassen. Mit der Folge, dass sie letztlich hohe Geldsummen investieren mussten, um die nötigen Behandlungen auf eigene Kosten fortzuführen.

"Stat News" konnte Einsicht in interne Dokumente nehmen und sprach auch mit ehemaligen Mitarbeitern von Navihealth, jener Tochterfirma, die das "nH Predict" genannte System für United entwickelt hat. Amber Lynch, eine Ergotherapeutin, die Patienten bei Navihealth betreute, gab sich etwa schwer ernüchtert. "Am Ende meiner Zeit bei Navihealth hatte ich realisiert, dass ich keine Beraterin bin, sondern nur eine Geldmacherin für die Firma. Es geht nur um Geld und Datenpunkte", sagt sie. "Es nimmt den Patienten die Würde, und ich habe das gehasst."

nH Predict ist laut Klage seit Ende 2019 im Einsatz und wird auch heute noch genutzt. Es soll sich aus einer Datenbank speisen, die medizinische Fälle von sechs Millionen Patienten beinhaltet und unter Heranziehung von Daten zum konkreten Patienten – etwa Alter, körperlicher Zustand und Lebenssituation – Empfehlungen für Nachbehandlungen nach Eingriffen gibt. Es errechnet medizinische Bedürfnisse, notwendige Aufenthaltsdauer in Pflege- und Reha-Einrichtungen und dementsprechend auch den Entlassungstermin.

System soll teilweise im Blindflug arbeiten

Lynch gibt an, dass einige relaevante Faktoren gar nicht berücksichtigt werden. Darunter fallen etwa Komorbiditäten – also das Vorliegen anderer Probleme bzw. Erkrankungen. Ebenso nicht einbezogen werden Entwicklungen, die während einer Behandlung auftreten, beispielsweise wenn sich ein Patient im Spital eine Lungenentzündung einfängt.

Dadurch ergeben sich oft Ergebnisse, die massiv von üblichen ärztlichen Empfehlungen abweichen. Ältere Patienten, die drei Tage stationär im Spital waren, haben in der Regel danach bis zu 100 Tage Anspruch auf Nachbetreuung in einer Gesundheitseinrichtung. nH Predict verschrieb jedoch nur in den seltensten Fällen Aufenthalte von länger als zwei Wochen, nach deren Ablauf United Health die weitere Kostenübernahme verweigerte – oft entgegen den ärztlichen Rat.

Anfragen von Patienten und Ärzten, die Einblick in die KI-generierten Berichte nehmen wollten, hat United Health bisher kategorisch abgelehnt und darauf verwiesen, dass es sich um "proprietäre Informationen" handle. Die Fehlerquote – Fälle, in denen Patienten letztlich keine ausreichende Behandlung zugestanden wurde – wird auf 90 Prozent geschätzt.

Betreuer sollen KI-Empfehlungen folgen

Trotz sich häufender Beschwerden soll United Health sein Patientenbetreuer dazu gedrängt haben, sich möglichst genau an die Empfehlungen des Systems zu halten. 2022 lautete die Vorgabe, über das Jahr bei den abgedeckten Behandlungstagen nicht mehr als drei Prozent abzuweichen, 2023 wurde die Toleranzgrenze auf einen Prozent gesenkt. Mitarbeitende, die sie überschreiten, müssen mit Disziplinarmaßnahmen oder gar der Entlassung rechnen.

Auch Lynch gibt an, dass sie letztlich aufgrund eines Rückstands bei den Falldokumentationen und Abweichung von der Toleranzgrenze ihre Stelle verlor. Die Patientenbetreuer sind bei United Health nicht letztverantwortlich für die Festlegung der Abdeckung, über diese entscheiden die "Physician Medical Reviewers", die aber Empfehlungen von den Bearbeitern erhalte.

Konzern streitet Vorwürfe ab

Auf Anfrage von Ars Technica, das die "Stat News"-Recherche aufgegriffen hatte, stritt der Konzern die Anschuldigungen ab. nH Predict werde gar nicht dafür eingesetzt, um den Umfang der Kostendeckung von Behandlungen zu bestimmen, sondern es diene nur zur Erzeugung von Empfehlungen, um Gesundheitsdienstleister, Familien und andere Pflegeverantwortliche darüber zu informieren, welche Pflegemaßnahmen ein Patient während seines Aufenthalts in Gesundheitseinrichtungen und zu Hause benötige.

Die Entscheidung über den Umfang der Versicherungsleistung werde anhand der Vorgaben des Centers for Medicare & Medicaid Services (CMS) der US-Regierung sowie des individuellen Versicherungspakets gefällt. Dementsprechend sehe man die Klage als unbegründet an und werde sich "energisch" vor Gericht verteidigen. (Georg Pichler, 22.11.2023)