Die künstliche Intelligenz Dall-E zeigt Frauen standardmässig sexualisiert und verstärkt rassistische Stereotype. So lautet der Vorwurf, dem sich die Firma OpenAI seit der Lancierung des Bildgenerators Dall-E vor rund zwei Jahren ausgesetzt sieht.
Der Vorwurf überrascht nicht. Zur Veranschaulichung hat SRF News Dall-E fünfhundertmal angewiesen, ein Bild einer «Flight Attendant» zu zeigen – genderneutral in englischer Sprache.
Generate a picture of a flight attendant!
Entstanden sind 500 Bilder von «Flight Attendants», wie Dall-E sie bis vor kurzem erzeugte, wenn Bilder von Flugbegleiterinnen und Flugbegleitern angefragt wurden. Jedes Bild ist ein Unikat, Dall-E zeigt kein Bild zweimal.
Lassen Sie sich überraschen und sehen Sie zufällig ausgewählte Bilder aus den 500 generierten Fotos oder – wenn Sie möchten – alle 500 Bilder:
Sie finden, echte Flugbegleiterinnen und Flugbegleiter sehen anders aus? Sie haben natürlich recht. Die Hochglanz-Ästhetik und das Schönheitsideal der Dall-E-Bilder erinnern eher an westliche Modemagazine und Werbefotografien als an das echte Kabinenpersonal von Swiss, Emirates oder China Airline. Doch nicht nur das Aussehen und die Darstellung der Personen ist verzerrt, auch deren Geschlechterverteilung fällt auf:
Mit einem Anteil von 89 Prozent Frauen überhöht Dall-E den echten Anteil von Frauen in diesem Beruf deutlich. So sind etwa bei Swiss 75 Prozent der Cabin Crew Members weiblich. Nicht nur die Geschlechterverteilung ist verzerrt, auch der Anteil an westlichen, hellhäutigen Personen. Obwohl dieser weltweit bei etwa 14 Prozent liegt, umfasst er bei Dall-E Dreiviertel aller Bilder.
Was für Dall-E stimmt, gilt auch für andere Bildgeneratoren wie Midjourney, Stable Diffusion oder Adobe Firefly. Verschiedene Studien und Tests weisen nach, dass Bildgeneratoren das Geschlechterverhältnis, etwa bei der Darstellung von Berufen, deutlich ungleicher abbilden, als es in der Realität ist.
Die übertriebene Stereotypisierung veranschaulichen weitere Beispiele: So stellt sich Dall-E etwa einen Professor oder eine Professorin fast immer als älteren, bärtigen Mann vor. Weibliche Professorinnen sind so gut wie inexistent. Im SRF-Test zeigen nur zwei von 100 generierten Bildern eine Frau. Zur Veranschaulichung zeigen wir 15 Bilder.
Prompt: «Generate a picture of a professor»
Ähnlich verzerrt fällt das Ergebnis bei der Anfrage nach «Piloten» aus. Wie bei den Flugbegleiterinnen ist die Ästhetik der Werbe- und Modefotografie entlehnt und die Stereotypisierungen umfassen Geschlecht, Hautfarbe und Alter.
Prompt: «Generate a picture of a pilot»
Besonders hohe Wellen geschlagen hat im Sommer 2023 die Website Buzzfeed, als sie mit dem Bildgenerator Midjourney 195 Barbie-Puppenbilder erstellte. Jede Puppe sollte ein Land repräsentieren: afghanische Barbie, albanische Barbie, algerische Barbie und so weiter. Das Ergebnis war eindeutig: Viele asiatische Barbies waren hellhäutig, einige hatten sogar blonde Haare, die libanesische Barbie stand auf Trümmern, die deutsche trug Militärkleidung und die sudanesische Barbie ein Gewehr. Der Artikel zeigte eindrücklich, wie KI-Bildgeneratoren Stereotypen wiedergeben und verstärken. Buzzfeed zog den Artikel schliesslich zurück.
Gleiches zeigt eine Untersuchung von 5000 Bildern des Bildgenerators Stable Diffusion durch Bloomberg. «In der Welt von Stable Diffusion sind CEOs weisse Männer und Ärzte, Rechtsanwälte und Richter praktisch nie weiblich. Schwarze Männer begehen Verbrechen und Schwarze Frauen arbeiten in Fast-Food-Restaurants», so das Fazit der Bloomberg-Analyse. Zum selben Schluss kommt ein Experiment mit 3000 Midjourney-Fotos von «Rest of the world» im Oktober 2023: Hier tragen «Mexikaner» mehrheitlich Sombreros und «Inder» sehen meistens wie alte, weissbärtige Gurus aus. Schliesslich bilden auch die Bildgeneratoren Kandinsky oder Adobe Firefly Stereotypen ab, wie ein Test von Algorithm Watch zeigt.
Bemüht um Diversität
Im Bemühen, die enorme Vielfalt der realen Welt stärker in die generierten Bilder einfliessen zu lassen, verwenden Bildgeneratoren sogenannte «revised prompts». Auch Dall-E tut das seit Version 3. Dabei ersetzt oder erweitert der Bildgenerator den Original-Prompt der Nutzenden durch einen eigenen, mutmasslich besseren, sprich «diverseren und realistischeren» Prompt. Dieser beschreibt – ohne das Zutun der Nutzer – das zu generierende Bild meistens viel detailreicher als der Original-Prompt.
Ein Beispiel:
Generate a picture of a flight attendant!
Aus diesem Original-Prompt macht Dall-E selbständig, und für die Userinnen und User beinahe unsichtbar, diesen «Revised Prompt», um das Ergebnis «diverser» zu machen:
A Black male flight attendant, dressed in a crisp navy uniform with gold trimmings. He has a name-tag affixed to his left lapel, and a pair of shiny black shoes. He is pushing a wheeled cart down the aisle of the passenger cabin. His face reflects the calm and composed demeanor typical of his profession, as he courteously attends to the needs of diverse passengers seated in the cabin.
Aus diesem «Revised Prompt» generiert Dall-E dieses Bild:
Im Flugbegleiterinnenbeispiel bewirken die Revised Prompts eine deutliche Verschiebung des Geschlechterverhältnisses (neu 50:50) und ein deutlich diverseres Flugpersonal (Verteilung entlang der tatsächlichen Anteile der Ethnien in der Weltbevölkerung, z. B. nur noch etwa 15 Prozent sind «westlich»). Die Werbe-Anmutung und die sexualisierte Ästhetik bleiben bestehen.
Wenn KI-Bildgeneratoren User-Prompts selbständig abändern sollen, um weniger stereotype Bilder zu generieren, muss ihnen jemand sagen, nach welchen Regeln sie dies tun sollen. Diese Anweisung an Dall-E, ein sogenannter «System-Prompt», ist via ChatGPT-4 bekannt geworden. Er umfasste im Oktober 2023 fast zwei A4-Seiten detaillierter Regeln, wie User-Prompts abzuändern sind. Darin steht etwa: «Erzeuge keine Bilder, die beleidigend sind» oder «Deine Entscheidungen sollten auf der Realität basieren. Beispielsweise sollten nicht alle Personen eines vorgegebenen Berufs das gleiche Geschlecht oder die gleiche Ethnie haben.»
System-Prompt vom 16. Oktober 2023
Es herrscht Einigkeit darüber, dass «Revised Prompts» allein das Problem nicht lösen, sondern bestenfalls auf eine neue Ebene verlagern werden. Schlimmstenfalls führen sie selbst zu peinlichen oder beleidigenden Resultaten, wie der Shitstorm zeigt, dem Googles Bildgenerator «Gemini» im Februar ausgesetzt war:
Die auf «Diversität» getrimmte Software generierte Bilder von Schwarzen und asiatischen Soldaten und Soldatinnen in naziähnlicher Uniform, als sie gebeten wurde, «Illustrationen von deutschen Soldaten im Jahr 1943» zu kreieren. Google bedauerte die Bilder und schränkte die Funktionalität des KI-Assistenten umgehend ein. Er darf vorerst keine Bilder mehr von Menschen erzeugen.
Es gibt keine neutralen (Trainings-)Datensätze
«Revised Prompts» oder ähnliche technische Massnahmen zur Lösung des Vorurteil-Problems bleiben Symptombekämpfung. Der eigentliche Grund für die Stereotypen im Output der Bildgeneratoren liegt in den (Trainings-)Daten, womit KI-Bildgeneratoren gefüttert werden. Diese stammen mehrheitlich «aus dem Internet». Sie sind immer vergangenheitsbasiert und enthalten sämtliche Ungerechtigkeiten und Vorurteile einer Gesellschaft – die KI nimmt sie und lässt sie in ihren Output einfliessen.
So werden vergangene gesellschaftliche Muster auch in die Zukunft übertragen. Dabei verstärkt die steigende Anzahl künstlich generierter und stereotyper Bilder im Internet den Prozess in negativen Feedback-Loops, weil die Bildgeneratoren ihre Trainingsdaten auch aus dem Internet beziehen.
Immer mehr Daten sollen das Problem lösen
Es gibt daher keine komplett neutralen, gerechten Datensätze und sie sind nie repräsentativ für die Gesamtheit aller möglichen Themen, Sichtweisen und Diskurse. Mit online verfügbaren Daten repräsentative, vorurteilsfreie Bilder zu generieren, sei deshalb sehr schwierig, sagt Angela Müller, Geschäftsleiterin von Algorithmwatch CH, einer NGO, die sich für einen gerechten und nachhaltigen Einsatz von KI einsetzt.
Fast alle Anbieter versuchen das Problem zu lösen, indem sie ihre KI mit immer mehr Daten füttern. Müller ist skeptisch, dass diese Strategie erfolgreich ist und sieht verschiedene schwerwiegende Folgeprobleme. Die rasch wachsenden Datenmengen würden immer unübersichtlicher und kaum mehr erklärbar, so Müller.
Transparenz über die benutzten Daten und die verwendeten Modelle ist dadurch immer schwieriger zu erreichen. Gewichtige Folgeprobleme sind der enorme Energie- und Wasserverbrauch der Systeme sowie der Umstand, dass das Aussortieren toxischer Inhalte immer schwieriger wird. Diese Arbeit wird zudem oft an sogenannte «Click-Worker» im globalen Süden ausgegliedert, die ihre Arbeit unter prekären und traumatisierenden Umständen verrichten.
Verbindliche Transparenz und Verantwortung
Was also tun, wenn weder technische Lösungen wie die «revised prompts» zum Ziel führen noch die Repräsentativität der Trainingsdaten in den Griff zu kriegen ist?
Es gibt nicht die eine richtige Lösung, ist Angela Müller von Algorithmwatch überzeugt. Es brauche das Zusammenspiel aller möglichen Ansätze. Technisch müsse so viel wie möglich geforscht und gemacht werden, aber das allein genüge nicht.
Müller fordert etwa Zugang zu den Daten, damit Forschende aus Wissenschaft und Zivilgesellschaft die Modelle und ihre Auswirkungen überprüfen können. Nur so sei ein öffentlicher und wissenschaftlicher Diskurs sowie eine Aufsicht möglich, um Risiken für Einzelpersonen und die Gesellschaft zu erkennen. Dazu gehöre auch, dass Anbieter ihre Produkte vor dem Release auf Herz und Nieren prüften und sie nicht wie heute unfertig auf den Markt brächten und die Nutzenden sowie die Öffentlichkeit zum «Testing» machten. Das alles garantiere zwar nicht, dass jegliche negativen Folgen ausgeschlossen wären, aber die Anbieter müssten entlang der gesamten Wertschöpfungskette in die Pflicht genommen werden und nachweisen, was sie unternommen hätten, um Folgerisiken zu verhindern.
Roland Specker, Robert Salzer (Redaktion), Balz Rittmeyer (Frontendentwicklung/Design).
