Berlin - Die Bank verweigert einen Kredit trotz bester Bonität, Amazon schlägt beharrlich Bücher vor, die man nie lesen würde, und der Ganzkörperscanner am Flughafen findet irgendetwas Auffälliges am Körper. Das kann zwar keiner der freundlichen Beamten erklären, es zieht aber eine aufwendige Sicherheitskontrolle und einen Sprint zum Gate nach sich. All dies sind die Folgen von Computerentscheidungen, die auf der Grundlage von Algorithmen getroffen werden. Jeder kennt sie aus dem Alltag, aber die wenigsten machen sich bewusst, dass dahinter Rechenvorschriften liegen, die unser Leben immer mehr bestimmen.

Kann zum Beispiel ein Computerprogramm die Menschen so beeinflussen, dass sie ihr Wahlverhalten ändern? Das klingt wie aus einem Science-Fiction-Film. Doch Forscher warnen tatsächlich vor den Ranking-Algorithmen von Google und Facebook, die unterschiedlichen Nutzern verschiedene Ergebnisse anzeigen und aktuellen Studien zufolge tatsächlich politische Wahlergebnisse verändern können. Die Präsidentschaftswahl 2016 in den USA könnte die erste Wahl sein, in der das geschieht, so die Befürchtungen.

Selbst Wahlen könnten beeinflusst werden

Facebook hat selbst in mehreren Studien gezeigt, dass nur winzige Veränderungen im Algorithmus die Meinung der Nutzer zu den geteilten Inhalten anderer verändern. Auch die Wahlbeteiligung könne der Konzern beeinflussen, lautet das Ergebnis einer Studie. Während der Kongresswahlen 2010 schickte Facebook 61 Millionen Nutzern eine Nachricht, die sie an die Wahl erinnerte und anzeigte, wie viele ihrer Freunde schon wählen waren. Jene Nutzer gingen signifikant häufiger wählen als die Kontrollgruppe, die keine entsprechende Nachricht erhielt.

Bei knappem Wahlausgang könnte solch eine Manipulation wahlentscheidend sein, warnt die amerikanische Technik-Soziologin Zeynep Tufekci: „Facebook kann Wahlen beeinflussen – ohne dass wir das nachweisen können.“ Die Beeinflussung ist schließlich so subtil, dass sie weder für den Einzelnen noch für Gerichte oder Regulierungsbehörden nachvollziehbar ist.

Auch bei der Suchmaschine Google entscheidet eine komplexe Rechenvorschrift im Hintergrund, welcher Nutzer welche Ergebnisse angezeigt bekommt. Studien des US-Psychologen Robert Epstein zeigen, wie eine veränderte Auswahl an Suchergebnissen Wähler eher zugunsten des einen oder des anderen Kandidaten entscheiden ließen.

Viele Algorithmen sind geheim

Epstein nutzte die Wahlen in Indien 2014 für ein Experiment. Er rekrutierte mehr als 2000 noch unentschlossene Wähler und teilte sie in zwei Gruppen ein. Eine Gruppe bekam bei ihrer Internet-Recherche mehr Suchergebnisse über den einen, eine zweite Gruppe mehr über den anderen Kandidaten präsentiert. Das Ergebnis: Die Vorlieben verschoben sich um durchschnittlich 9,5 Prozent jeweils zugunsten des Kandidaten, der in den Suchergebnissen bevorzugt vorkam.

Welche Faktoren genau in die Ranking-Algorithmen von Google und Facebook einfließen und wie sie gewichtet sind, ist ein gut gehütetes Geheimnis. Bekannt ist bei Facebook der große Einfluss des Like-Buttons, mit dem Nutzer Nachrichten mit „Gefällt mir“ markieren können. Verschiedene Experimente belegen diesen Einfluss. So entschied sich beispielsweise die Designerin Elan Morgan, zwei Wochen lang den Like-Button zu ignorieren – und war begeistert.

„Das machte Facebook eindeutig besser“, sagte sie. Sie habe viel weniger Dinge angezeigt bekommen, die sie nicht sehen wollte. Denn offenbar hatte der Algorithmus manches falsch verstanden. Wenn sie etwa ein Foto süßer Katzenbabys mit „Gefällt mir“ markierte, bekam sie auch Fotos von Katzen, die von Tierquälern misshandelt worden waren. „Der Algorithmus versteht die vielen politischen, philosophischen und emotionalen Schattierungen eines Themas nicht“, bilanziert Morgan.

Verbrechen bekämpfen, bevor es passiert

In verschiedenen deutschen Bundesländern gibt es Pilotversuche mit Predictive Policing, also vorhersagender Polizeiarbeit. Auch Berlin hat jüngst angekündigt, ein Computersystem zu nutzen, um die Zahl der Einbrüche zu senken. Die Software heißt KrimPro, eine Berliner Eigenentwicklung. Bei solchen Programmen geht es darum, dass der Computer wie ein erfahrener Polizist wirkt, der im Laufe einer langen Karriere ein Gefühl dafür entwickelt hat, wo Kriminelle als Nächstes zuschlagen. Die meisten Bundesländer nutzen dafür die deutsche Software Precobs, die ein Familienunternehmen in Oberhausen, das Institut für musterbasierte Prognosetechnik IfmPt, entwickelt hat.

Sie basiert auf der Annahme, dass professionelle Täter nach bestimmten Mustern vorgehen. Sie handeln planvoll, bevorzugen Gebiete, in denen sie nicht auffallen und die gute Fluchtmöglichkeiten bieten. Sie haben es auf ganz bestimmte Beute abgesehen – und kommen wieder, wenn sie erfolgreich waren. „Near repeat“ heißt das in der Fachsprache.

Ein Täter sucht den Tatort ein zweites Mal auf. Solche Folgedelikte sagt der Computer auf Basis eines Mustererkennungsalgorithmus voraus. Basis sind die Daten vergangener Einbrüche. Ist das System sich zu 70 oder 80 Prozent sicher, schlägt es Alarm – und die zuständigen Behörden entscheiden, ob sie eine Streife vorbeischicken.

Erfolg ist schwer zu beweisen

Medien berichten allerdings immer wieder von Fällen, in denen eine solche Software angeschlagen hat, Polizisten vor Ort verstärkt Streife fuhren – und trotzdem eingebrochen wurde. Das mögen Einzelfälle sein, doch die Frage, ob die Einbrüche durch solche Maßnahmen generell zurückgehen, lässt sich kaum seriös beurteilen. Immer wieder hört man von Gebieten, in denen die Einbrüche rückläufig seien – und im Jahr darauf steigen sie wieder.

„Das ist das Absurde an der ganzen Geschichte“, sagt Michael Schweer vom Institut IfmPt, „das Nicht-Eintreten des Folgedelikts ist unser Erfolg, lässt sich aber durch das Nicht-Eintreten nicht nachweisen.“ Dennoch ist Schweer davon überzeugt, dass Precobs funktioniert: „Wir sind jetzt an sieben Standorten, und an allen liegen die Einbrüche signifikant unter den Vergleichswerten. Es wäre doch komisch zu sagen: Das hat nichts mit dem System zu tun.“

Andere Bundesländer arbeiten mit eigenen Algorithmen. So testet das LKA Nordrhein-Westfalen derzeit, welche Daten die eigene Software noch treffsicherer werden lassen – etwa Echtzeit-Informationen über den Stromverbrauch, die anzeigen, wo gerade wenige Menschen zu Hause sind. So etwas könnte Einbrecher anlocken.

Rassismus statt fairer Beurteilung

Wie schnell die musterbasierte Verdachtserhebung nach hinten losgehen kann, zeigen allerdings aktuelle Vorfälle in den USA. Dort berechnen Computer die Wahrscheinlichkeit, nach der ein Straftäter rückfällig wird. Das Ergebnis wirkt sich auf dessen Haftzeit aus. Eine Recherche des investigativen Journalistenbüros propublica ergab kürzlich, dass der dahintersteckende Algorithmus Schwarze systematisch benachteiligt. Ein Fehler im System?

Die Verantwortlichen blieben in der Folge erschreckend sprachlos – offenbar hatte das selbstlernende System eigene Schlüsse gezogen, die nun kaum zu überprüfen sind. Vor solch einem Problem hatten Forscher immer wieder gewarnt. Manche fordern deshalb, Algorithmen keine Entscheidungen über Menschen treffen zu lassen, aufgrund derer diese Nachteile erleiden.

Dass dennoch immer wieder Fälle auftreten, in denen entsprechende Mustererkennungsalgorithmen beispielsweise Dunkelhäutige diskriminieren, ärgert Michael Schweer. „Das darf nicht passieren“, sagt er. Bewusst sei Precobs kein selbstlernendes System, das eigene Schlüsse ziehe, sondern werde ausschließlich von Menschen erweitert. „Wir wollen vermeiden, dass sich Fehler einschleichen. Selbstlernende Systeme fallen gerne auf Scheinkorrelationen herein.“

Kein Geld wegen geringer Punktzahl

Über diese Theorielosigkeit der automatisierten Mustererkennung, auf der heute ein Großteil der Künstliche-Intelligenz-Algorithmen basiert, ärgert sich auch Katharina Zweig, Leiterin der Arbeitsgruppe Graphentheorie und Analyse komplexer Netzwerke an der TU Kaiserslautern. Auch die Schufa berechne die Kreditwürdigkeit anhand von Algorithmen, in die verschiedene Informationen einfließen. Der Bankmitarbeiter erhalte am Ende nur einen Wert und den Ratschlag, diesem oder jenem Kunden besser keinen Kredit zu geben, sagt Katharina Zweig.

Was aber solle der Bankmitarbeiter demjenigen sagen, der keinen Kredit bekommt, fragt sie. „Du hast diesen Wert. Wieso, das weiß ich nicht, jedenfalls bekommst du keinen Kredit.“ Aus ihrer Sicht sollte man Betroffenen sagen können, was sie ändern können, um einen Kredit zu bekommen, und aus welchen Gründen ihnen der Algorithmus diesen Wert zugewiesen hat. Nur wie, wenn das die Anwender eines Systems selbst nicht wissen können? Und was, wenn das Ergebnis falsch ist? Um solche Probleme mehr ins Bewusstsein der Menschen zu bringen, hat Zweig kürzlich die Organisation „Algorithm Watch“ gegründet.

Auch um die Kollegen geht es dabei. „Das größte Problem: Wir als Informatiker sind nicht dafür ausgebildet zu modellieren“, sagt Katharina Zweig. Modellieren bedeutet beispielsweise zu entscheiden, welche Daten als Trainingsdaten relevant sind und welche Art von Algorithmus auf diese angewendet wird. Vor einiger Zeit habe die Schufa gemeinsam mit dem Hasso-Plattner-Institut ein umstrittenes Projekt angekündigt, um Daten aus sozialen Netzwerken dafür zu nutzen, die Kreditwürdigkeit Einzelner vorhersagen zu können, erzählt Katharina Zweig.

Facebookauftritt entscheidet über Kredite

Dieses Projekt beruhe auf einem Modell, und zwar der Idee, dass solche Daten grundsätzlich dafür geeignet sein könnten. Welchen Algorithmus man dann darauf anwende, werde im Zweifel danach entschieden, welcher das beste Ergebnis bringe, also zum Beispiel die Nicht-Kreditwürdigen finde und nicht zu viele Kreditwürdige fälschlich aussortiere. Schließlich wissen die Forscher aus der Zusammenarbeit mit der Schufa, wer als kreditwürdig eingeschätzt wird.

Ein Algorithmus sucht dann Gemeinsamkeiten anhand der Daten, die die Betroffenen auf Facebook geteilt haben. Aber woher weiß man, dass das nicht zufällige Korrelationen sind? Und ist es seriös, Menschen auf dieser Grundlage einen Kredit zu verwehren? Das Projekt wurde nach öffentlichen Protesten eingestellt.

Aber das Ganze hat auch noch ein größeres, statistisches Problem, das häufig übersehen wird – auch von Informatikern: Angenommen, am Ende fände man einen Algorithmus, der anhand von Facebook-Daten zu 90 Prozent richtig vorhersagt, wen die Schufa als nicht kreditwürdig ansehen würde, und der lediglich fünf Prozent Kreditwürdige fälschlicherweise als nicht kreditwürdig einstuft. Auf den ersten Blick wirkt das wie ein recht gutes Ergebnis. Man könnte auf die Idee kommen, dass Facebook eine gute Datenquelle sei, um die Kreditwürdigkeit von Menschen zu berechnen.

Zu viele Menschen werden aussortiert

Aber es gebe eine Falle, warnt Zweig. Man müsse betrachten, in welchem Verhältnis die Nicht-Kreditwürdigen in der Bevölkerung vorliegen. Nur wenige bezahlten schließlich ihren Kredit nicht zurück. Angenommen, von 5000 Menschen zahlten 150 einen Kredit nicht zurück. Der Algorithmus würde davon 90 Prozent – also 135 – identifizieren. Hochgerechnet würden aber aufgrund des scheinbar recht treffsicheren Algorithmus gut 240 weitere Personen keinen Kredit bekommen – 5 Prozent der 4850 eigentlich Kreditwürdigen. „Damit liegt die Trefferquote bei allen, die der Algorithmus als nicht-kreditwürdig ansieht, nur bei etwa 36 Prozent.

Solche prozentualen Maße sind also ein Problem in der Künstlichen Intelligenz, wenn die vorherzusagenden Kategorien sehr unbalanciert auftreten“, warnt Zweig. Und oft werde Künstliche Intelligenz dann angewendet, wenn man wenig wisse, zum Beispiel bei seltenen Krankheiten. Aber genau dann fielen Vorhersagefehler stark ins Gewicht: „Man sortiert zu viele aus oder findet nicht jene Leute heraus, die eigentlich dazugehören.“