SRF: Cathy O'Neil, müssen wir uns vor Algorithmen fürchten?
Eher vor ihren Auswirkungen. Wir glauben immer, Algorithmen seien fair und objektiv, aber das sind sie nicht.
Wollen Sie sagen, Algorithmen seien diskriminierend?
Cathy O’Neil ist Mathematikerin und Data Scientist. Sie gründete das Unternehmen Orca, das Algorithmen auf Fairness prüft und betreibt den Blog mathbabe.
In ihrem Buch «Angriff der Algorithmen» (Originaltitel: Weapons of Math Destruction) macht sie auf die Gefahren von Big Data und die Macht der Algorithmen aufmerksam.
Big Data heisst, dass ein Computerprogramm irrsinnig schnell Daten auswertet. Zum Beispiel Tausende von Kreditkarten oder Bewerbungen – und der vielversprechendste Kandidat steht dann ganz oben auf der Liste. Das wird zu Unrecht als fair und objektiv vermarktet.
Um einen Algorithmus zu entwickeln, müssen eine Menge subjektiver Entscheidungen getroffen werden und die werden von Menschen getroffen, mit all ihren Vorurteilen und Missverständnissen. Algorithmen sind Meinungen, die in Code, also in Mathematik eingebettet sind.
Selbst wenn ein Computerprogramm mit den besten Absichten geschrieben wurde, kann es dennoch schädlich sein. Und vor allem die ärmere Bevölkerung leidet darunter.
Können Sie uns ein Beispiel geben?
Mein Lieblingsbeispiel ist ein Algorithmus, der für die Bewertung von Lehrern in Washington eingesetzt wird, vor allem in ärmeren Vierteln. Die Idee dahinter ist eine gute: Die schlechten Lehrer sollen ausgesiebt werden, um die Ausbildung für arme schwarze Kinder zu verbessern.
Der Algorithmus misst die schulischen Fortschritte der Schüler. Er ist aber so ungenau programmiert, dass er zu völlig willkürlichen Ergebnissen führt. Einer der Lehrer bekam im einen Jahr 6 Punkte von 100 – und im nächsten waren es 96 Punkte. Dabei hatte er an seine Art zu unterrichten nichts geändert. Dennoch wurden und werden auf dieser Basis Lehrer entlassen und eingestellt.
Algorithmen sind in Mathematik eingebettete Meinungen.
Durch diesen Algorithmus wurden gute Lehrer schlecht beurteilt. Sie fanden neue Jobs, manche in den Privatschulen reicherer Gegenden. Anstatt die Bildungsbedingungen für arme schwarze Kinder zu verbessern, hat man sie verschlechtert.
Wie hätte man das verhindern können?
Ein gesunder Algorithmus hat eine positive Feedbackschleife. Das heisst, er testet immer wieder, ob er auch das macht, was er soll. Nehmen Sie die Produktempfehlungen bei Amazon. Der Algorithmus erkennt, wenn ich mich für Produkte nicht interessiere und bietet mir beim nächsten Mal andere an. Er lernt dazu.
Im Fall der Lehrer war der Algorithmus so intransparent, dass es keine Möglichkeit gab zu prüfen, ob die Lehrer mit schlechten Bewertungen auch wirklich schlechte Lehrer waren. Noch schlimmer: Je länger das System angewendet wurde, desto mehr gute Lehrer sind gegangen.
Was schlagen Sie als Lösung vor?
Wenn es sich um Algorithmen handelt, die Einfluss auf das Leben vieler Menschen haben, müssen die Entscheidungen verständlich sein, die bei der Konzeption eine Rolle gespielt haben. Die Allgemeinheit sollte die Möglichkeit haben mitzureden. Stattdessen bekommen Menschen, die nachfragen, zu hören: «Das ist Mathe, das verstehst du nicht».
Sollte man also Firmen dazu verpflichten, ihre Algorithmen offen zu legen?
Ja, in etwa so, wie auch jeder Autohersteller gesetzlich verpflichtet ist, seine Autos einer Sicherheitsprüfung zu unterziehen.
Bei wichtigen Algorithmen müsste bewiesen werden, dass sie fair sind, statistisch aussagekräftig und dass es eine Feedbackschleife gibt, die prüft, ob sie funktionieren. Dass sie weder sexistisch noch rassistisch sind. Dass niemand benachteiligt wird. Und wenn es ein Problem gibt, muss der Algorithmus optimiert werden.
Aber mal ketzerisch gefragt: Betrifft mich das überhaupt?
Jeder bewirbt sich irgendwann einmal für einen Job oder braucht vielleicht einen Kredit. Und wenn nicht Sie, sind Ihre Kinder betroffen.
Zudem: Das Internet ist die perfekte Propaganda-Maschine. Es erstellt Profile von uns, basierend auf dem, was wir konsumieren. Diese Daten verraten, wie wir wählen. So sind wir total beeinflussbar.
Sie geben in Ihrem Buch das Beispiel von Facebook, wo ein Algorithmus darüber entscheidet, welche Nachrichten wir in unserem News Feed sehen. Ist unsere Demokratie diesem Algorithmus ausgeliefert?
Absolut. Facebook beginnt gerade erst damit, das zuzugeben. Wie mächtig Facebook ist, zeigt das «Ich wähle»-Experiment. Bei den US-Wahlen 2012 sollten die Menschen motiviert werden, wählen zu gehen. Einigen Facebook-Usern wurde ein «Ich wähle»-Button eingeblendet. Wer ihn anklickte, zeigte seinen Freunden: Ich habe gewählt. Leute gingen dadurch tatsächlich eher an die Urne.
Mich beunruhigt nicht, wie viele Daten wir sammeln, sondern wie wir damit umgehen.
Stellen Sie sich vor, bei den letzten Wahlen hätte jeder potenzielle Wähler diesen Button gezeigt bekommen. Wahrscheinlich wären mehr Menschen zusätzlich wählen gegangen als die Differenz in den Wahlergebnissen von Hillary Clinton und Donald Trump. Facebook hätte die Macht, solch einen Button zum Beispiel nur den Wählern der Demokraten zu zeigen. Facebook könnte tatsächlich eine Wahl entscheiden.
Es sind ja nicht nur Unternehmen, die Daten von uns sammeln. Wir selbst helfen eifrig mit. Wir tracken, was wir essen, wie wir schlafen, wie viel Sport wir machen – alles freiwillig. Glauben Sie, wir wollen das System wirklich ändern?
Nein, wir leben recht komfortabel mit all diesen Dienstleistungen. Meiner Meinung nach ist das auch ok, unsere Daten können ruhig da draussen sein. Was mich beschäftigt, ist die Art, wie wir mit den Daten umgehen, die gesammelt werden. Sollen Unternehmen darüber entscheiden, welche politischen Botschaften wir bekommen? Welche Jobs? Oder welche Kreditkarte?
Was war das schockierendste Ergebnis Ihrer Recherche?
Mir begegnete immer wieder derselbe Prozess: Menschen werden von Algorithmen in Gewinner und Verlierer eingeteilt. Wer bekommt den Job, wer darf zur Uni, wer kommt ins Gefängnis?
Schockiert war ich darüber, Teil dieses Systems zu sein, das die Demokratie gefährdet. Algorithmen sind nicht von Natur aus fair. Wir müssen sie fair machen. Dann können sie auch unsere Gesellschaft gerechter machen.
Das Gespräch führte Corinna Daus
