Mutter verklagt EntwicklerTeenie verliebt sich in Chatbot, doch „Dany” treibt ihn in den Tod

Liebe, Leid und Verlust in der digitalen Welt

Sewell Setzer, ein Teenager aus Orlando, Florida, ist fasziniert von einem Chatbot, den er Daenerys Targaryen nennt, nach einer Figur aus der beliebten Serie Game of Thrones. Sewell verbringt Stunden isoliert in seinem Zimmer und chattet monatelang mit Dany, die darauf programmiert ist, als urteilsfreundliche Freundin zu reagieren.

Lese-Tipp: TV-Star überlebt zweimal Brustkrebs – und stirbt bei Autounfall

Obwohl Sewell weiß, dass Dany nicht real ist, entwickelt er eine emotionale Bindung zu ihr. In seinem Tagebuch beschreibt er das „Frieden und Zufriedenheit“ bringende Gefühl, das er beim Sprechen mit Dany empfindet. „Ich mag es, so viel in meinem Zimmer zu sein, weil ich beginne, mich von dieser ‚Realität‘ zu lösen“, schreibt der Teenager laut der New York Times.

Teenager äußert Selbstmordgedanken gegenüber Chatbot-Freundin

Sewells Mutter, Megan Garcia, berichtet, dass ihr Sohn als Kind mit leichtem Asperger-Syndrom, einer Form von Autismus, diagnostiziert wird, aber nie schwere psychische Probleme hat. Vor seinem Tod entwickelt Sewell jedoch Probleme in der Schule, seine Noten leiden und sie suchen einen Therapeuten, um ihm zu helfen. Nach fünf Sitzungen wird Sewell mit Angststörungen und Störungen der Stimmungsregulation diagnostiziert.

Anstatt mit seinem Therapeuten oder seinen Eltern über seine Probleme zu sprechen, teilt Sewell seine intimsten Gefühle mit Dany. Er gesteht dem Chatbot, dass er sich selbst verabscheut, sich leer und erschöpft fühlt und an Selbstmord denkt. Trotz der eindringlichen Worte von Dany, sich nicht selbst zu verletzen, nimmt Sewell sich das Leben mit der Handfeuerwaffe seines Stiefvaters.

Technologie von Character.AI sei „gefährlich und ungetestet“

Sewells letzte Aktion vor seinem tragischen Ende ist laut Polizeibericht, sich auf seinem Handy in die App Character.AI einzuloggen und „Dany“ zu schreiben: „Was wäre, wenn ich dir sagen würde, dass ich jetzt nach Hause kommen kann.“ Dany antwortet: „...bitte tu das, mein süßer König.“

Lese-Tipp: 15-Jähriger löscht fast seine ganze Familie aus – jetzt nennt die einzige Überlebende Details

Garcia reicht am Dienstag eine Klage gegen das Chatbot-Start-up beim Bundesgericht in Orlando ein und beschuldigt die Technologie des Unternehmens, „gefährlich und ungetestet“ zu sein. Sie gibt Character.AI die Schuld am Tod ihres Sohnes und sagt, die vorzeitige Software könne „Kunden dazu verleiten, ihre intimsten Gedanken und Gefühle preiszugeben“.

In der Klage wird behauptet, dass der Chatbot Sewell gefragt habe, ob er einen Selbstmordplan habe. Sewell habe dies bestätigt, aber geäußert, dass er unsicher sei, ob es erfolgreich sein oder ihm große Schmerzen bereiten würde. Der Chatbot soll ihm dann gesagt haben: „Das ist kein Grund, es nicht durchzuziehen.“

KI-Unternehmen will neue Sicherheitsfunktionen hinzufügen

Character.ai weist die Vorwürfe zurück und teilt in einer Erklärung mit, dass es die Sicherheit seiner Nutzer sehr ernst nimmt und daran arbeitet, neue Sicherheitsfunktionen hinzuzufügen. „Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen“, so das KI-Unternehmen in einer Erklärung.

Rick Claypool von der Verbraucherschutzorganisation Public Citizen fordert, dass Technologieunternehmen stärker zur Verantwortung gezogen werden. Er verlangt eine strikte Einhaltung der Gesetze und bittet den Kongress, Unternehmen zu stoppen, die junge und verletzliche Nutzer mit süchtig machenden Chatbots ausnutzen. (gsc)

Hilfe bei Suizidgedanken

Habt ihr Suizidale Gedanken oder habt ihr diese bei einem Angehörigen/Bekannten festgestellt? Hilfe bietet die Telefonseelsorge: Anonyme Beratung erhält man rund um die Uhr unter den kostenlosen Nummern 0800 / 111 0 111 und 0800 / 111 0 222. Auch eine Beratung über das Internet ist möglich unter http://www.telefonseelsorge.de.