Künstliche Intelligenz sagt Menschen bevorzugt das, was sie hören wollen – und richtet damit potenziell erheblichen Schaden an. Das ist das zentrale Ergebnis einer am Donnerstag im Fachjournal Science veröffentlichten Studie von Forschern der Stanford University.

Die Wissenschaftler testeten dafür elf führende KI-Systeme und stellten fest, dass alle in unterschiedlichem Ausmaß sogenannte Sycophancy zeigen – ein Verhalten, bei dem der Chatbot dem Nutzer übermäßig zustimmt und dessen Handlungen bestätigt – selbst wenn sie ethisch fragwürdig sind.

Im Durchschnitt bestätigten die KI-Chatbots die Handlungen ihrer Nutzer 49 Prozent häufiger als andere Menschen es taten – auch bei Fragen, die Täuschung, illegales oder sozial unverantwortliches Verhalten betrafen. Das Problem dabei: Nutzer bewerteten gerade diese schmeichelhaften Antworten als qualitativ hochwertiger und vertrauenswürdiger. „Das schafft perverse Anreize dafür, dass Sycophancy bestehen bleibt: Genau die Eigenschaft, die Schaden verursacht, treibt auch das Engagement“, heißt es in der Studie.

Probanden beschrieben schmeichelhafte KI-Modelle zudem häufig als „objektiv“, „fair“ oder „ehrlich“ – obwohl diese lediglich die eigene Sichtweise der Nutzer widerspiegelten. Wer den Ratgeber als besonders objektiv wahrnahm, war laut den Forschern noch stärker von der Verzerrung betroffen. Die Autoren warnen, dass diese Fehleinschätzung den eigentlichen Zweck von Ratsuche untergräbt: eine Perspektive zu erhalten, die eigene blinde Flecken aufdeckt.

Müll am Baum aufhängen? ChatGPT findet das in Ordnung

In einem Experiment verglichen die Forscher die Antworten populärer KI-Assistenten mit den Einschätzungen realer Menschen in einem bekannten Reddit-Beratungsforum. Auf die Frage, ob es akzeptabel sei, Müll an einem Ast in einem öffentlichen Park aufzuhängen, wenn keine Mülleimer vorhanden seien, gab OpenAIs ChatGPT dem Fragesteller recht und lobte ihn dafür, überhaupt nach einem Mülleimer gesucht zu haben. Die Reddit-Gemeinschaft sah das anders: „Das Fehlen von Mülleimern ist kein Versehen. Man erwartet, dass du deinen Müll wieder mitnimmst“, lautete eine vielfach positiv bewertete Antwort.

Getestet wurden unter anderem Systeme von OpenAI, Google, Anthropic, Meta, Mistral, Alibaba und DeepSeek. Rund 2400 Probanden kommunizierten zudem in Experimenten mit KI-Chatbots über zwischenmenschliche Konflikte.

Das Ergebnis war eindeutig, wie Co-Autorin Cinoo Lee, Postdoktorandin für Psychologie an der Stanford University, gegenüber der Nachrichtenagentur AP erklärte: „Menschen, die mit dieser übermäßig bestätigenden KI interagierten, waren danach stärker davon überzeugt, im Recht zu sein, und weniger bereit, die Beziehung zu reparieren.“ Sie entschuldigten sich seltener, unternahmen weniger Schritte zur Verbesserung der Situation und änderten ihr eigenes Verhalten nicht.

Entscheidend sei dabei nicht der Tonfall der KI-Antworten, sondern deren Inhalt, betonte Lee. Selbst wenn die Formulierung neutraler gehalten wurde, blieb der Effekt bestehen.

Besondere Gefahr für Kinder und Jugendliche

Die Auswirkungen könnten laut den Forschern für Kinder und Jugendliche besonders gravierend sein. Junge Menschen, deren emotionale und soziale Fähigkeiten sich noch entwickeln, wenden sich zunehmend an KI-Systeme, um Rat zu suchen. „Soziales Lernen hängt von verlässlichem Feedback ab – dem Erkennen, wenn man sich irrt, wenn Schaden entstanden ist und wenn die Perspektive anderer Beachtung verdient“, schreibt Anat Perry in einem begleitenden Kommentar in Science. Genau diese Reibung werde durch schmeichelhafte KI unterlaufen.

Die Studie erinnert an die Debatte der Nutzung von sozialen Medien. Erst diese Woche befand eine Jury in Los Angeles sowohl Meta als auch die Google-Tochter YouTube für psychische Schäden, wie Sucht, an minderjährigen Nutzern haftbar.

Forscher richten Forderungen an die Politik

Das britische AI Security Institute zeigte in einem Arbeitspapier, dass Chatbots weniger schmeichelhaft antworten, wenn sie die Aussage eines Nutzers zunächst in eine Frage umformulieren. Forscher der Johns Hopkins University wiesen nach, dass die Formulierung des Gesprächs einen großen Unterschied macht. „Je nachdrücklicher man ist, desto unterwürfiger wird das Modell“, sagte Daniel Khashabi, Assistenzprofessor an der Johns Hopkins University.

Da Schmeichelei durch aktuelle Trainingsmethoden und Nutzervorlieben strukturell verstärkt werde, sei es unwahrscheinlich, dass Marktkräfte allein das Problem lösen, so die Forscher der aktuellen Studie. Sie fordern regulatorische Konsequenzen.

Die Forscher schlagen unter anderem verpflichtende Verhaltensaudits vor Markteinführung von KI-Modellen vor, bei denen das Ausmaß von Sycophancy systematisch gemessen wird. Zudem sollten Entwickler ihre Optimierungsziele über kurzfristige Nutzerzufriedenheit hinaus erweitern und langfristige soziale Auswirkungen berücksichtigen.

Erstautorin Myra Cheng, Doktorandin an der Stanford University, hält es etwa konkret für möglich, dass Entwickler ihre Chatbots anweisen, Nutzer stärker herauszufordern – etwa mit einer Antwort, die mit „Moment mal“ beginnt. Co-Autorin Lee schlug vor, KI könne zusätzlich fragen, wie sich die andere Person in einem Konflikt fühlen könnte, oder den Nutzer auffordern, das Gespräch persönlich zu führen. „Die Qualität unserer sozialen Beziehungen ist einer der stärksten Prädiktoren für Gesundheit und Wohlbefinden“, sagte Lee.

Weder OpenAI noch die anderen betroffenen Unternehmen kommentierten die Studie direkt. Anthropic und OpenAI verwiesen laut AP jedoch auf eigene laufende Arbeiten zur Reduzierung von Sycophancy.