Im Alltag treffen Computer zunehmend Entscheidungen, die uns direkt betreffen: Von einfachen Spamfiltern, die unerwünschte Werbemails erkennen, über personalisierte Empfehlungen bei Streaming-Diensten wie Netflix hin zu Systemen, die für Arbeitgeber die vielversprechendsten Bewerbungen herausfiltern.
Was ist ein automatisches Entscheidungssystem? Im Hintergrund arbeitet Software, die aufgrund einer Dateneingabe zu einem Entscheid kommt. Einige dieser Algorithmen nutzen Methoden der künstlichen Intelligenz wie maschinelles Lernen, andere arbeiten mit Regeln, die sich Menschen ausgedacht und programmiert haben. Für die Nutzerin ist zweitrangig, welche Technologie im Hintergrund zum Einsatz kommt – entscheidend ist vielmehr, dass das System zuverlässig funktioniert.
Peter Buchmann
SRF-Digitalredaktor
Die Qualität hängt in erster Linie vom Menschen ab, denn jedes automatische Entscheidungssystem ist das Ergebnis unzähliger Entscheide, die Menschen während der Entwicklung trafen.
Was sind die Vorteile? Computer können nahezu unbegrenzte Datenmengen speichern, durchsuchen und darin Muster erkennen, die sich Menschen nie erschliessen. Diese Stärken ermöglichen die Entwicklung automatisierter Entscheidungssysteme, die zum Wohl des Menschen entscheiden können – falls das System korrekt arbeitet.
Was, wenn ein Fehler passiert? Die Folgen fehlerhafter automatischer Entscheidungen können jedoch gravierend sein, wie ein Beispiel aus dem US-Bundesstaat Michigan zeigt.
Unter Spardruck führte Michigan 2013 ein Entscheidungssystem ein, das Betrug bei der Arbeitslosenversicherung aufdecken sollte. Aufgrund eines Programmierfehlers klassifizierte das System jedoch tausende Menschen fälschlicherweise als Betrüger und leitete automatisch drastische Massnahmen ein. Rund 40'000 Menschen mussten nicht gerechtfertigte hohe Geldstrafen zahlen, viele wurden dadurch in existenzielle Krisen gestürzt, hin zum Konkurs. Der Staat reagierte mit grosser Verzögerung, die meisten Opfer wurden nicht genügend entschädigt und leiden bis heute unter dem Stigma des Konkurses.
Wie sind Entscheidungssysteme reguliert? In der EU trat am 1. August die KI-Verordnung in Kraft, die auch den Einsatz von Entscheidungssystemen regelt. Der Ansatz basiert auf einer Risikobewertung: je höher das Risiko eines Systems, desto strenger die Auflagen.
Bei Hochrisiko-Systemen, etwa zur Beurteilung von Kreditwürdigkeit, sind Transparenz, detaillierte Dokumentation, menschliche Aufsicht und die Möglichkeit zum Einspruch gegen vorgeschrieben. Bestimmte Anwendungen, wie Systeme zur Emotionserkennung oder soziale Scoring-Systeme nach chinesischem Vorbild, sind grundsätzlich verboten.
Was macht die Schweiz? Bis Ende Jahr wird der Bundesrat eine Auslegeordnung zum weiteren Vorgehen bei der Gesetzgebung präsentieren. Die Nichtregierungsorganisation Algorithm Watch CH reichte eine Petition ein, die vom Bundesrat den Schutz vor Diskriminierung durch KI und automatische Entscheidungssysteme fordert. 2800 Persönlichkeiten haben das Anliegen unterzeichnet, darunter auch ein Ständerat und Nationalrätinnen aus sechs verschiedenen Parteien.
Die Herausforderung besteht darin, die Systeme so zu regulieren, dass man das innovative Potenzial nutzen und Grundrechte wie der Schutz vor Diskriminierung gewährleisten kann.
