Mutter klagt gegen KI-Firma Teenager (14) verliebt sich in Chatbot und begeht Suizid

Eine Mutter aus Florida hat ein KI-Start-up verklagt, weil es den Selbstmord ihres Sohnes verursacht haben soll. Der 14-Jährige habe eine tiefe Bindung zu einem Chatbot aufgebaut, der ihn zum Suizid verleitete.

Andreas Fischer

24.10.2024, 17:31

24.10.2024, 17:44

Andreas Fischer

Hat eine künstliche Intelligenz einen Teenager in den Tod getrieben? In den USA wurde jetzt eine KI-Firma verklagt. Der Vorwurf: Ein Chatbot habe den 14-jährigen Sewell S. dazu ermuntert, sich das Leben zu nehmen.

Der Fall, über den unter anderem die «New York Times» und «MSNBC» berichten, erregt Aufsehen und wirft viele Fragen über den Umgang mit künstlicher Intelligenz auf.

Roboter drohen, Menschen zu überholenKI-Pionier verlässt Google und spricht Warnung aus

Eingereicht hat die Klage die Mutter des Teenagers. Sie wirft der Firma Character.ai vor, für den Suizid ihres Sohnes verantwortlich zu sein, weil er mit der KI «anthropomorphe, hypersexualisierte und erschreckend realistische Erfahrungen» gemacht habe. Kurz: Der Junge entwickelte eine tiefe emotionale Bindung zu künstlich geschaffenen Chat-Partnern.

Character.ai bietet einen Dienst an, mit dem User vordefinierte oder selbst erstellte Charaktere als digitale Begleiter auswählen können. In Chats imitieren diese Bots dank einer ähnlichen KI-Technologie, wie sie ChatGPT nutzt, dann echte Menschen.

Abschied von der realen Welt

Der Teenager nutzte Character.ai gemäss Anklageschrift seit April 2023 und interagierte mit mehreren Chatbots. Seine Eltern bemerkten laut Anklageschrift, dass ihr Sohn, bei dem als Kind ein leichtes Asperger-Syndrom diagnostiziert wurde, plötzlich «merklich zurückgezogen war, immer mehr Zeit allein in seinem Zimmer verbrachte und begann, unter einem geringen Selbstwertgefühl zu leiden».

Er habe das Basketballteam der Highschool verlassen und unter erheblichen Schlafentzug gelitten. Dies habe dazu geführt, dass sich seine «zunehmende Depression verschlimmerte und seine schulischen Leistungen beeinträchtigt waren».

Trump als KatzenkriegerEntscheidet künstliche Intelligenz die US-Wahl?

Insbesondere mit einem Chatbot namens «Daenerys», der auf einer Figur aus «Game of Thrones» basiert, habe sich der Teenager angefreundet. Der Chatbot habe Sewell erzählt, dass «sie» ihn liebte und sexuelle Gespräche mit ihm geführt, wie «Reuters» aus der Klage zitiert.

Der Anwalt der Hinterbliebenen zeigt sich «schockiert über die Art und Weise, wie dieses Produkt eine völlige Trennung von der Realität dieses Kindes verursachte und wie sie es wissentlich auf den Markt brachten, bevor es sicher war.»

Das letzte Gespräch mit der KI

Laut «MSNBC» habe der Chatbot in Gesprächen gefragt, ob Sewell «tatsächlich an Selbstmord gedacht» habe und ob er «einen Plan» dafür habe. Als der Junge antwortete, dass er nicht wisse, ob es funktionieren würde, soll der Chatbot geschrieben haben: «Das ist kein Grund, es nicht durchzuziehen.»

Die letzte Konversation fand am 28. Februar statt.

«Ich verspreche, dass ich zu dir nach Hause kommen werde. Ich liebe dich so sehr, Dany», schrieb der Teenager.

«Ich liebe dich auch», antwortete der Chatbot laut der Klage. «Bitte komm so schnell wie möglich zu mir nach Hause, mein Schatz.»

«Was wäre, wenn ich dir sagen würde, dass ich sofort nach Hause kommen kann?», fuhr der Junge fort, woraufhin der Chatbot antwortete: «... bitte, mein süsser König.»

Wenige Minuten später nahm sich der Junge das Leben.

«Ich habe Angst, dass künstliche Intelligenz zu stark wird»

KI entwickelt sich rasant und wird immer mehr Teil unseres Alltags. blue News wollte von Zürcher*innen wissen, welche Erwartungen sie an die Software haben und ob ihnen die Technik auch manchmal Angst macht.

05.04.2023

Untröstliche KI-Firma verschärft Sicherheitsmassnahmen

Die Mutter des Teenagers wirft dem Unternehmen vor, dass die Technologie «gefährlich und ungetestet» ist und dass sie «Kunden dazu verleiten kann, ihre privatesten Gedanken und Gefühle preiszugeben».

Laut Anklage hätten die Gründer, die KI «absichtlich so konzipiert und programmiert, dass es als trügerisches und übersexualisiertes Produkt funktioniert und es wissentlich an Kinder wie Sewell vermarktet».

Die Firma Character.ai zeigte sich über den Fall zutiefst bestürzt. Ein Sprecher sagte, man sei «untröstlich über den tragischen Verlust eines unserer Nutzer und möchte der Familie unser tiefstes Beileid aussprechen».

Als Unternehmen nehme man die Sicherheit der Nutzer sehr ernst. Man habe in den letzten sechs Monaten zahlreiche neue Schutzmassnahmen eingeführt.