Automation Bias als Rechtsproblem

Menschliche Entscheidungen folgen einer begrenzten Rationalität. In einer immer komplexer werdenden Welt alle relevanten Faktoren für Entscheidungsprozesse miteinzubeziehen, erscheint zunehmend schwieriger. Die Unterstützung menschlicher Entscheidungsprozesse durch algorithmenbasierte Systeme ist deshalb allgegenwärtig und unumkehrbar. Im Fokus der (wissenschaftlichen) Diskussionen stehen aber vorrangig Visionen „Künstlicher Intelligenz“, der Robotik und vollautomatisierter Entscheidungsvorgänge. Die Risiken algorithmenbasierter Entscheidungsunterstützung sind rechtlich und institutionell nicht hinreichend reflektiert, aber tatsächlich weit verbreitet.

Der automation bias ist das verhaltenspsychologisch nachgewiesene Phänomen, dass Menschen wider besseren Wissen auf Vorschläge und Entscheidungen von Maschinen vertrauen. Durch einen flächendeckenden Einsatz solcher Systeme, z.B. im Bildungsbereich oder der Leistungsverwaltung entfalten solche biases eine Hebelwirkungen und potenzieren die Zahl der Betroffenen. Insbesondere in Umgebungen, in denen Menschen eine Vielzahl gleichgelagerter Entscheidungen routinemäßig treffen müssen, steigt die Gefahr des automation bias. Expert:innenwissen allein schützt davor nicht.

Für diese Risiken müssen Organisationen, Führungskräfte und Sachbearbeiter:innen sensibilisiert werden. Qualitäts- und Ergebnissicherung sowie Grundrechtsschutz durch Verfahren sind etablierte rechtliche Konzepte. Rechtlich reflektiert sind die Risiken algorithmenbasierter Entscheidungen bisher nur punktuell, die als „KI-Vorschrift“ gehandelte Norm des Art. 22 DSGVO erfasst entscheidungsunterstützende Systeme explizit nicht.

Das Projekt entwickelt aus rechtlicher Perspektive unter starker Einbeziehung interdisziplinärer Erkenntnisse, insbesondere aus Arbeitsethik und Psychologie Lösungsansätze, um dem automation bias zu begegnen.