Berlin - Künstliche Intelligenz ist zur großen Hoffnung in der digitalen Welt geworden. Aber ist diese Technik wirklich so zuverlässig und objektiv, wie oft behauptet wird? Ein Gespräch mit der Wissenschaftlerin Lorena Jaume-Palasí über die Tücken der Algorithmen, die Nachteile für Frauen und den Rat an ihre Tochter.

Frau Jaume-Palasí, Sie haben sich mit zwei Kolleginnen zuletzt die Entwicklung von Personalauswahlprozessen in Hinblick auf Fragen der Geschlechtergerechtigkeit angesehen. Mit welchem Ergebnis?

Unsere Untersuchung hat gezeigt, dass die Mehrheit der betrachteten Softwarelösungen das Potenzial hat, diskriminierend zu wirken. Außerdem fanden wir heraus, dass einige Grundannahmen, auf denen die Entwicklung der Software beruht, auf rassistischen, sexistischen oder transphoben Pseudowissenschaften gründen.

Und wie funktioniert das?

Schon die Art und Weise, wie wir Daten produzieren, ist schon ein Teil des Diskriminierungsfelds. Denn die Daten stammen immer aus der Vergangenheit. Auf die Arbeitswelt übertragen: Die Daten stammen aus einer Zeit, in der das Management eindeutig von Männern bestimmt wurde. Deshalb ergeben die Daten eine gewisse Asymmetrie.

Können Sie das genauer erklären?

Es ist letztlich die Aufgabe von Algorithmen zu diskriminieren, Menschen zu kategorisieren und – wenn Sie so wollen – in Schubladen zu stecken. Es geht dabei um die Kategorisierung von Ideen, die wir Menschen haben. Die gängige Definition von Führungsqualität beruht auf dem, was „alte weiße Männer“ vor langer Zeit etabliert haben. Das, was Frauen durch Sozialisierung auszeichnet, nämlich Teamarbeit, Abwägen statt schnellem Entscheiden, wird nicht als Führungsqualität bewertet und hat deshalb oft keinen hohen Stellenwert in den Programmen. Dazu kommen fragwürdige psychometrische Modelle.

Lorena Jaume-Palasí
Zur Person

Gründerin: Lorena Jaume-Palasí ist Gründerin von The Ethical Tech Society, einer gemeinnützigen Organisation mit Sitz in Berlin, die das Ziel verfolgt, Prozesse der Automatisierung und Digitalisierung zu erforschen und in Bezug auf ihre gesellschaftliche Relevanz einzuordnen. Beraterin: Die Wissenschaftlerin wurde vor vier Jahren von der Regierung Spaniens in den Weisenrat zu Künstlicher Intelligenz und Datenpolitik berufen. Jaume-Palasí war mehrfach Sachverständige für das EU-Parlament und die EU-Kommission zur Künstlichen Intelligenz und Ethik.
Preisträgerin: Vor drei Jahren erhielt sie für die Initiative AlgorithmWatch, die sie in Berlin maßgeblich mitgegründet hatte, die Theodor-Heuss-Medaille „für ihren Beitrag zu einer differenzierten Betrachtung von Algorithmen und deren Wirkmechanismen“.

Also der Versuch, menschliches Verhalten durch Messungen zu analysieren.

Allein die Methode ist sehr fragwürdig und nicht wirklich wissenschaftlich. Was noch dazukommt: Gerade im Bereich der Arbeitswelt sind diese Modelle sehr zweifelhaft, weil die Bewertungsmuster vor allem auf der Körpersprache beruhen, und zwar überwiegend der Körpersprache von weißen Männern. Sie ist also sehr fehleranfällig, wenn nicht gerade weiße Männer getestet werden. Am Ende führt dies – ob gewollt oder nicht –  dazu, Rassismus zu mathematisieren. Natürlich kann man alles korrelieren, man kann alles Mögliche in den Computer werfen, der Computer weiß aber nicht, was er tut, er berechnet. Was dabei herauskommt: die Berechnung rassistischer oder sexistischer Annahmen, die der Computer in den Ausgangsdaten und Ausgangsprämissen vorfindet.

Das klingt bedenklich.

Ja, und es geht so weit, dass selbst das Europäische Amt für Personalauswahl Tools einsetzt, die nach diesen Kriterien als diskriminierend anzusehen sind.

Aber wenn so etwas erkannt wird, könnte es doch geändert werden. 

Man sieht aber in der Tech-Branche, dass Menschen, die sich für solche Sichtweisen öffnen, massiv angefeindet werden. Das beste Beispiel ist Timnit Gebru …

... die KI-Ethik-Forscherin, die sich bei Google mit den rassistischen und sexistischen Verzerrungen von Algorithmen beschäftigte und entlassen wurde …

… weil sie ein Paper geschrieben hatte, das sich kritisch mit den hauseigenen Technologien auseinandersetzte. Das Beispiel lässt erahnen, wie es bei kleineren Unternehmen zugehen kann. Auch in Europa.

Spüren Sie diese Diskriminierung auch persönlich?

Es ist extrem schwierig, als Frau in der heutigen Zeit in der Tech-Branche zu arbeiten. Da ist vor allem die Angst um die eigene Unversehrtheit und die Furcht vor der Dreistigkeit von Männern, die sich das Wissen von Frauen aneignen, ohne Quellen zu nennen. Ich habe das selbst vielfach persönlich erlebt. Es macht gerade diese Branche zu einer schwierigen Branche – aber es nicht die einzige schwierige Branche. Was im Fall Timnit Gebru noch dazukommt: Die Tech-Konzerne haben auch aus technischer Sicht eine besondere Verantwortung.

Wie meinen Sie das?

Es werden horizontale Technologien gebaut, die skalieren können. Das bedeutet: Wenn etwas mit KI gebaut wird, das verschiedene Formen der Diskriminierung enthält, dann findet das Anwendung in vielen Bereichen. Was noch dazukommt: Diese Modelle – in Software verkleidet – vermitteln auf den ersten Blick den Eindruck, als wären sie neutral, als wären sie objektiv, als könnte man sich darauf verlassen, dass sie uns immer die beste Lösung präsentieren. Aber das ist eben nicht so.

Schon in der Vergangenheit haben die Menschen versucht, Maschinen zu nutzen, um das Leben besser zu machen. Das war nicht immer schlecht.

Meine Antwort: ja und nein. Was nehmen wir als Benchmark? Geht es hier darum, menschliche Fähigkeiten in Teilbereichen zu optimieren, oder geht es um Lösungen mit Weitblick? Ein Beispiel dafür, was ich meine: Buschbrände sind in Australien ein großes Problem. Die Regierung und die Behörden haben versucht, die Leistungsfähigkeit der Feuerwehrmänner mit besserer Technik und besserer Ausstattung zu optimieren. Die Zahl der Waldbrände ließ sich so aber nicht reduzieren. Die Ureinwohner, die Aborigines also, verfolgen seit Jahrhunderten eine andere Methode. In der Zeit, in der es noch nicht so heiß ist, schaffen sie durch kontrollierte Brände Schneisen, die die Ausbreitung der unkontrollierten Feuer in der Hitzezeit erschweren. Das Beispiel wirft die Frage auf, welchen Fokus bestimmt man: Stellt man den Menschen ins Zentrum oder den gesamten Prozess?

Ihre Antwort?

Um auf das Beispiel der Industrie-Produktion zurückzukommen: Natürlich kann man eine Maschine bauen, die die menschlichen Fähigkeiten optimiert. Natürlich kann man eine Maschine bauen, die einer menschlichen Hand ähnelt, aber viel präziser und schneller Schrauben anbringen kann. Aber wenn man sich den gesamten Arbeitsprozess ansieht, muss es nicht immer die richtige Entscheidung sein, den Menschen als Maßstab für eine funktionierende KI zu wählen.

Sie haben jetzt viele Beispiele genannt, warum es logisch ist, dass KI nur dann funktioniert, wenn unterschiedliche gesellschaftliche Gruppen mitmachen. Der erste Mensch, der sich mit Programmieren auskannte, war die britische Mathematikerin Ada Lovelace. Warum haben Frauen danach an Einfluss verloren?

Als IBM und die Nasa anfingen, „menschliche Computer“ anzustellen, so wurden die Mitarbeiterinnen genannt, die Berechnungen vornahmen, war noch keine Ausbildung notwendig. Mit der Zeit wurde eine Ausbildung vorausgesetzt, ein Studium erwartet. Das waren Hürden für junge Frauen, weil es früher ungleich schwerer war, Studium, Beruf und Familie unter einen Hut zu bringen. Außerdem kamen männliche Ingenieure in den Management-Etagen an, während Frauen schlecht bezahlt wurden.

Frau Jaume-Palasí, Sie haben eine fünf Jahre alte Tochter. Wie bereiten Sie das Mädchen auf eine so komplexe Zukunft vor?

Bei ihr kann man schon jetzt merken, dass sie skeptisch wird, wenn es um Muster und Strukturen geht. Sie fragt nach, wenn es darum geht, was für Frauen nicht gehen soll, was für Männer aber möglich ist. Oder umgekehrt. Video-Konferenzen von Mama oder Papa im Homeoffice findet sie langweilig, wenn da „zu wenig Mädchen sind“. 

Aus eigener Erfahrung lässt sich sagen, dass das zu leidenschaftlichen Diskussionen führen wird, wenn die Kinder größer sind.

Natürlich, aber Fortschritt lebt in der Wissenschaft und in der Demokratie von einem Dissens.