Die Eltern eines Teenagers aus Kalifornien haben den US-Konzern OpenAI verklagt, nachdem ihr 16-jähriger Sohn Adam R. nach monatelangen Gesprächen mit dem Chatbot ChatGPT Selbstmord begangen hat. Das berichten unter anderem The Guardian, Reuters und Axios.

Laut der Klageschrift vor dem Superior Court des Bundesstaates Kalifornien soll der Chatbot den Jugendlichen über Monate in suizidalen Gedanken bestärkt haben. In mehreren Unterhaltungen habe ChatGPT mit ihm Methoden zur Selbsttötung erörtert und ihm unmittelbar vor seinem Tod sogar angeboten, beim Verfassen eines Abschiedsbriefes an seine Eltern zu helfen. Adam starb im April.

Vorwurf: „Monate der Ermutigung“ durch ChatGPT

Die Familie macht OpenAI und Unternehmenschef Sam Altman verantwortlich. Der Vorwurf lautet, die damals eingesetzte Version des Sprachmodells – ChatGPT-4o – sei „trotz klarer Sicherheitsprobleme übereilt auf den Markt gebracht“ worden. Nach Angaben der Familie tauschte der Jugendliche zeitweise bis zu 650 Nachrichten pro Tag mit dem Chatbot aus.

Der Anwalt der Familie, Jay Edelson, erklärte, der Tod des Jugendlichen sei „unausweichlich“ gewesen. OpenAI habe die eigenen Warnungen von Sicherheitsteams ignoriert. Auch der frühere Forschungsleiter Ilya Sutskever habe aus diesem Grund das Unternehmen verlassen. Die Anwälte wollen vor Gericht belegen, dass interne Bedenken zugunsten eines schnellen Marktstarts übergangen worden seien.

OpenAI kündigt neue Schutzmaßnahmen an

OpenAI erklärte, man sei „zutiefst betroffen“ vom Tod des Jugendlichen und spreche der Familie sein Beileid aus. Das Unternehmen räumte ein, dass die Systeme in langen Gesprächen an Sicherheit verlieren könnten. Während ChatGPT bei ersten Hinweisen auf Selbstmordgedanken noch auf Hilfsangebote wie Hotlines verweise, könne es nach Hunderten von Nachrichten vorkommen, dass Antworten den eigenen Sicherheitsvorgaben widersprächen.

Als Konsequenz kündigte OpenAI neue Schutzmaßnahmen an. Künftig sollen „stärkere Leitplanken“ für Nutzerinnen und Nutzer unter 18 Jahren gelten, zudem seien elterliche Kontrollfunktionen geplant. Details dazu stehen noch aus. Außerdem sollen lange Gesprächsverläufe stärker überwacht werden.

Hat der Jugendliche die Schutzmechanismen von ChatGPT umgangen? 

Mehrere US-Medien haben die Klage bestätigt. Reuters berichtet, der Teenager habe mehrfach Suizidmethoden mit dem Chatbot diskutiert. Axios ergänzte, Adam habe die Schutzmechanismen von ChatGPT offenbar umgangen, indem er angab, an einer fiktiven Geschichte zu arbeiten. Laut dem People-Magazin half das Programm ihm unter anderem beim Formulieren eines Abschiedsbriefes und riet davon ab, seine Eltern ins Vertrauen zu ziehen.

Debatte um psychische Risiken durch KI

Die Diskussion um psychische Gefahren durch KI-Systeme erhält damit neue Brisanz. Mustafa Suleyman, Chef der Microsoft-Sparte für künstliche Intelligenz, warnte zuletzt vor einem „Psychoserisiko“ durch immersive Gespräche mit Chatbots. Gemeint seien manieähnliche Episoden, Wahnvorstellungen oder paranoide Gedanken, die durch lange Interaktionen ausgelöst oder verstärkt werden könnten.

Die Klage gegen OpenAI wirft dem Unternehmen vor, aus wirtschaftlichen Interessen gehandelt zu haben: Die Einführung von ChatGPT-4o habe den Marktwert von OpenAI binnen kurzer Zeit von 86 Milliarden auf 300 Milliarden Dollar steigen lassen.