Automation Bias als Rechtsproblem

Menschliche Entscheidungen folgen einer begrenzten Rationalität. In einer immer komplexer werdenden Welt alle relevanten Faktoren für Entscheidungsprozesse miteinzubeziehen, erscheint zunehmend schwieriger. Die Unterstützung menschlicher Entscheidungsprozesse durch algorithmenbasierte Systeme ist deshalb allgegenwärtig und unumkehrbar.

Im Fokus der (wissenschaftlichen) Diskussionen stehen aber vorrangig Visionen „Künstlicher Intelligenz“, der Robotik und vollautomatisierter Entscheidungsvorgänge. Die Risiken algorithmenbasierter Entscheidungsunterstützung sind rechtlich und institutionell nicht hinreichend reflektiert, aber tatsächlich weit verbreitet.

  • Der automation bias ist das verhaltenspsychologisch nachgewiesene Phänomen, dass Menschen wider besseren Wissen auf Vorschläge und Entscheidungen von Maschinen vertrauen. Durch einen flächendeckenden Einsatz solcher Systeme, z.B. im Bildungsbereich oder der Leistungsverwaltung entfalten solche biases eine Hebelwirkungen und potenzieren die Zahl der Betroffenen. Insbesondere in Umgebungen, in denen Menschen eine Vielzahl gleichgelagerter Entscheidungen routinemäßig treffen müssen, steigt die Gefahr des automation bias. Expert:innenwissen allein schützt davor nicht.

    Für diese Risiken müssen Organisationen, Führungskräfte und Sachbearbeiter:innen sensibilisiert werden. Qualitäts- und Ergebnissicherung sowie Grundrechtsschutz durch Verfahren sind etablierte rechtliche Konzepte. Rechtlich reflektiert sind die Risiken algorithmenbasierter Entscheidungen bisher nur punktuell, die als „KI-Vorschrift“ gehandelte Norm des Art. 22 DSGVO erfasst entscheidungsunterstützende Systeme explizit nicht.

    Das Projekt entwickelt aus rechtlicher Perspektive unter starker Einbeziehung interdisziplinärer Erkenntnisse, insbesondere aus Arbeitsethik und Psychologie Lösungsansätze, um dem automation bias zu begegnen.

  • Veröffentlichungen

    • Hondrich, Lukas; Ruschemeier, Hannah, (Alvarez, M.; Fabris, A.; Zehlike, M., Loi, M., Heitz, C., Hertweck, C.) (2023): Addressing Automation Bias through Verifiability, Conference Proceedings Winterthur EWAF 2023
    • Ruschemeier, Hannah: Automation Bias in the Public Sector – a Legal Perspective, in: Weizenbaum Conference Proceedings 2023, 59-69.
    • Under review: Automation Bias – an interdisciplinary perspective from law and psychology. Ruschemeier, Hannah; Hondrich, Lukas

    Konferenzteilnahmen und Vorträge

    • Hondrich, Lukas: „Addressing Automation Bias through Verifiability, Eurpopean Workshop for Algorithmic Fairness, Winterthur, 07.06.2023
    • Hondrich, Lukas: Weizenbaum Conference #5: AI, Big Data, Social Media, and People on the Move, Berlin, 19. – 20.06.2023
    • Hondrich, Lukas: Responsible and Open Foundation Foundation Models, Princeton (remote), 21.09.2023
    • Hondrich, Lukas: Shifting AI Controversies, Berlin, 28.-29.01.2024
    • Ruschemeier, Hannah: Shifting AI Controversies, Berlin, 28.-29.01.2024
    • Ruschemeier, Hannah: Weizenbaum Jahreskonferenz, Berlin, Juni 2022

Projektbeteiligte

Jun.-Prof. Dr. Hannah Ruschemeier Foto: Michael Schwettmann

Jun.-Prof. Dr. Hannah Ruschemeier

Projektleitung

E-Mail: hannah.ruschemeier

Telefon: +49 2331 987-4872

Lehrgebiet Öffentliches Recht mit Schwerpunkt Recht der Di­gi­ta­li­sie­rung/Da­ten­schutz­recht, Rechtswissenschaftliche Fakultät

Profil

FI ABD | 12.02.2026