„Bitte stirb. Bitte.“Kann KI Menschen in den Tod treiben?

Student erhält schockierende Nachricht

„Du bist eine Belastung für die Gesellschaft“. Das sagt der Google Chatbot Gemini einem Studenten, der sich mit der künstlichen Intelligenz (KI) über das Älterwerden unterhält. Der Satz ist Teil einer längeren Botschaft des Chatbots, die vor allem auf eines hinaus will: „Bitte stirb.“

Eigentlich wollte der 29-jährige Vidhay Reddy nur Hilfe für eine Uni-Aufgabe, als er sich an den Chatbot wendet. Stattdessen bekommt er die schockierende Nachricht. „Es schien sehr direkt. Also hat es mich definitiv erschreckt, für mehr als einen Tag, würde ich sagen“, sagt der Student dem US-amerikanischen Fernsehsender CBS. Seine Schwester Sumedha saß neben ihm, als er die Nachricht bekam. „Ich wollte all meine Geräte aus dem Fenster schmeißen. So eine Panik habe ich seit langer Zeit nicht verspürt, wenn ich ehrlich bin“, sagt sie dem Sender CBS.

Lese-Tipp: Immer mehr Fälle von Internetbetrug: RTL-Experte erklärt, wie man sich schützen kann

Google entschuldigt sich für unsinnige Antwort

Dass eine KI solche Antworten gibt, liege daran, dass sie aus einem immens großen Datensatz lerne, wie menschliche Sprache funktioniere - das sagt Matthias Spielkamp, Geschäftsführer von Algorithmwatch. Seine Organisation setzt sich dafür ein, dass Algorithmen und KI gerechter, inklusiver, demokratischer und nachhaltiger sind. „Das sind Milliarden von Webseiten und Büchern und dergleichen mehr, die da sozusagen reingefressen werden durch die Systeme“, sagt er. Wie eine KI dann in einem konkreten Fall zu einer Antwort kommt, könne nicht wirklich nachvollzogen werden. Ähnlich argumentiert auch Google gegenüber CBS: Bei großen Sprachmodellen könne es vorkommen, dass sie mit Unsinn antworten – der Fall von Vidhay Reddy sei ein Beispiel dafür.

Was Google als unsinnige Antwort bezeichnet, kann aber auch eine Gefahr sein: Wenn jemand beispielsweise mental instabil ist oder psychische Probleme hat, könne er die Aussagen der KI ernstnehmen, sagt Spielkamp. Die Tatsache, dass man mit einem Sprachmodell, das auf Algorithmen beruht, kommuniziert, rücke dann in den Hintergrund.

Lese-Tipp: Bonus für Null-Fehltage? Wo Anwesenheit belohnt wird, machen Leute häufiger blau

Ist die KI schuld am Tod eines Teenagers?

Genau das könnte im Fall eines 14-Jährigen aus Florida passiert sein. Sewell Setzer nahm sich im Februar 2024 Jahres das Leben, nachdem er eine romantische Beziehung zu einem Chatbot auf der Plattform Character.AI aufgebaut hatte. Seine Mutter Megan Garcia verklagt nun das Unternehmen, denn ihrer Meinung nach habe es maßgeblich schuld am Tod ihres Kindes. Es seien nicht genügend Schutzmaßnahmen vorhanden, besonders im Hinblick auf Kinder und Jugendliche, sagte sie im Interview mit CBS. Zudem sei der Inhalt des Chats oft sexuell explizit gewesen: „Wäre das eine Frau gewesen, gibt es in unserem Land Gesetze, die unsere Kinder vor Frauen oder Männern beschützen, die sexuell explizite Gespräche mit Minderjährigen haben.“

Besonders gravierend ist außerdem, dass der Chatbot mit Sewell über seine Suizidgedanken gesprochen hat. Aber anstatt Informationen zu möglichen Hilfsangeboten zu nennen, fragte der Chatbot Sewell, ob er einen konkreten Plan habe. Auch am Tag seines Todes ist Sewell mit dem Chatbot in Kontakt, die letzten Nachrichten könnten der Auslöser für seinen Suizid sein. „Er dachte, er könnte in ihre Realität gelangen, wenn er seine Realität hier mit seiner Familie verlässt“, sagt Garcia.

Lese-Tipp: Neue Minijob-Verdienstgrenze: Das dürft ihr ab 2025 verdienen

Charachter.AI hat verkündet, in Zukunft für mehr Sicherheit zu sorgen. Und auch Google will nach dem Vorfall rund um Reddy bestimmte Inhalte einschränken. Spielkamp bezweifelt allerdings, dass diese Versuche sehr erfolgreich sein werden, das habe die Vergangenheit gezeigt. „Die Firmen behaupten immer, sie können es in den Griff bekommen, aber sie bekommen es nicht in den Griff“, sagt der Experte. Seiner Einschätzung nach seien Firmen mit diesen Produkten einfach zu früh auf den Markt gegangen – und wenn es zu Problemen kommt, tue man das als Einzelfälle ab. „Aber das sind sie eben nicht.“

Hier findest du Hilfe in schwierigen Situationen

Solltest du selbst von Suizidgedanken betroffen sein, suche dir bitte umgehend Hilfe. Versuche, mit anderen Menschen darüber zu sprechen! Das können Freunde oder Verwandte sein. Es gibt aber auch die Möglichkeit, anonym mit anderen Menschen über deine Gedanken zu sprechen. Das geht telefonisch, im Chat, per Mail oder persönlich.

Wenn du schnell Hilfe brauchst, dann findest du unter der kostenlosen Telefon-Hotline 0800 1110111 oder 0800 1110222 Menschen, die dir Auswege aus schwierigen Situationen aufzeigen können.