Unternehmen und Behörden lassen Entscheidungen oft durch Algorithmen treffen. Das birgt die Gefahr, einzelne Menschen oder Gruppen zu benachteiligen. Das zeigt eine Studie des Karlsruher Instituts für Technologie.
Ob bei der Kreditvergabe, der Auswahl neuer Mitarbeitender oder bei juristischen Entscheidungen – Algorithmen kommen zum Einsatz, um menschliche Entscheidungen vorzubereiten oder sie selbst zu treffen. „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich oft als Trugschluss“, erläutert Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) am Karlsruher Institut für Technologie. „Kritisch wird es dann, wenn die Algorithmen mit tendenziösen Daten arbeiten, die auf eigentlich geschützte Merkmale zurückgreifen.“ Hierzu gehörten vor allem Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.
Welche Ursachen diese Formen der Diskriminierung haben, wie sie sich auf die Gesellschaft auswirken und sich künftig verringern lassen, hat Orwat im Auftrag der Antidiskriminierungsstelle des Bundes untersucht. Die Studie Diskriminierungsrisiken durch Verwendung von Algorithmen veranschaulicht anhand von 47 Beispielen, wie Algorithmen Menschen diskriminieren können und wie sich das nachweisen lässt.
Die Benachteiligung lauert bei Immobilien, Krediten und in der Justiz
Die Beispiele aus der Studie betreffen Vorgänge auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. „In den USA gibt es mehrere dokumentierte Fälle, in denen die Algorithmen sozialer Medien Wohnungsanzeigen so selektiert haben, dass sie Personengruppen nicht zu sehen bekamen, die durch den ‚Fair Housing Act‘ geschützt sind“, berichtet Orwat. „Benachteiligt wurden dabei Migranten, Menschen mit Behinderung oder Nicht Weißer Hautfarbe.“ In Finnland sei ein Kreditinstitut zu Strafzahlungen verurteilt worden, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern bei der Kreditvergabe benachteiligt hat. Eine Ungleichbehandlung, die nach dem finnischen Antidiskriminierungsrecht verboten ist. US-amerikanische Richter arbeiteten bei der Entscheidung über vorzeitige Haftentlassungen mit einem System, das Risiko-Scores berechnet. Journalisten- und Menschrechtsverbände hätten kritisiert, dass das System das Rückfallrisiko von Schwarzen Menschen systematisch zu hoch bewerte.
„Bei Systemen des maschinellen Lernens treten problematische Verzerrungen dann auf, wenn die Algorithmen mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärt Orwat. Dann spiegle die auf dieser Basis arbeitende Künstliche Intelligenz Ungleichbehandlungen oder Stereotypen wider. „Kommen Daten zum Einsatz, die Bewertungen von Menschen über andere Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen verbreiten oder verstärken“, warnt Orwat. Das zeige sich beispielsweise in den USA bei einem System für Lebensmittel- und Gesundheitskontrollen, das auf diskriminierenden Bewertungen von Restaurants basierte.
Der Ausweg: Mitarbeiter schulen und Algorithmen testen
Die Gesellschaft muss diese Ungleichbehandlungen nicht tatenlos hinnehmen. Die Karlsruher Wissenschaftler nennen mehrere Ansatzmöglichkeiten, um Diskriminierungen von Algorithmen zu begegnen. Am sinnvollsten erscheinen laut Orwat präventive Maßnahmen: „Unternehmen könnten beispielsweise ihre Mitarbeiter in den Fachabteilungen von Antidiskriminierungsstellen beraten lassen. Diese Angebote sensibilisieren dazu, nur solche Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegeln.“
Generell müssten Algorithmen laut Orwat künftig diskriminierungsfrei gestaltet werden. Dazu sollten sie bereits während ihrer Entwicklung auf mögliche systematische Verzerrungen hin geprüft werden. Letztlich gehe es dabei immer um den Schutz von gesellschaftlichen Werten wie Gleichheit oder freie Entfaltung der Persönlichkeit. Damit diese Prinzipien angesichts der rasanten Entwicklungen von Big Data und Künstlicher Intelligenz gewährt bleiben, müsse das Antidiskriminierungs- und Datenschutzrecht nachgebessert werden. Jürgen Frisch
