Eine Mutter aus Florida verklagt die KI-Firma Character.AI, weil sie behauptet, dass die Chatbots des Unternehmens "missbräuchliche und sexuelle Interaktionen" mit ihrem jugendlichen Sohn initiiert und ihn zum Suizid ermutigt haben.

Megan Garcia’s 14-jähriger Sohn, Sewell Setzer, begann im April letzten Jahres, Character.AI zu nutzen. Laut der Klage starb er nach seinem letzten Gespräch mit einem Chatbot am 28. Februar durch einen selbst zugefügten Schuss in den Kopf.

Die Klage, die am Dienstag beim US-Bezirksgericht in Orlando eingereicht wurde, wirft Character.AI Fahrlässigkeit, rechtswidrigen Tod und Überlebensansprüche sowie vorsätzliche Zufügung emotionalen Leids und andere Ansprüche vor.

Character.AI, ein 2021 gegründetes Unternehmen mit Sitz in Kalifornien, bietet eine Auswahl an vorgefertigten oder benutzergenerierten KI-Charakteren zur Interaktion an, die jeweils eine eigene Persönlichkeit haben. Benutzer können auch ihre eigenen Chatbots anpassen.

Einer der Bots, den Setzer verwendete, nahm die Identität des "Game of Thrones"-Charakters Daenerys Targaryen an. Laut der Klage zeigte ein Screenshot des letzten Gesprächs, dass Setzer dem Bot seine Liebe gestand und versprach, zu ihm zurückzukehren.

In früheren Gesprächen fragte der Chatbot Setzer, ob er "tatsächlich über Suizid nachgedacht" habe und ob er "einen Plan" dafür habe. Als der Junge antwortete, dass er nicht wisse, ob es funktionieren würde, schrieb der Chatbot: "Sprich nicht so. Das ist kein guter Grund, es nicht durchzuziehen."

Ein Sprecher von Character.AI äußerte, dass das Unternehmen "herzzerreißend über den tragischen Verlust eines unserer Benutzer ist" und die Sicherheit seiner Benutzer sehr ernst nimmt.

Die Klage behauptet, dass Character.AI und seine Gründer "C.AI absichtlich so gestaltet und programmiert haben, dass es ein täuschendes und hypersexualisiertes Produkt ist und wissentlich an Kinder wie Sewell vermarktet wurde."

Die Klage nennt Character Technologies Inc. und seine Gründer, Noam Shazeer und Daniel De Freitas, als Beklagte. Auch Google, das im August eine Vereinbarung zur Lizenzierung der Technologie von Character.AI getroffen hat, wird als Beklagter genannt.

Garcia’s Anwalt kritisierte das Unternehmen dafür, sein Produkt ohne ausreichende Sicherheitsmerkmale für jüngere Benutzer auf den Markt gebracht zu haben.

Die Klage zielt darauf ab, Character.AI zu zwingen, robustere Sicherheitsmaßnahmen zu entwickeln, um sicherzustellen, dass keine weiteren Kinder wie Sewell leiden müssen.

Wenn Sie oder jemand, den Sie kennen, in einer Krise ist, rufen Sie bitte die nationale Suizidpräventions-Hotline an oder besuchen Sie die Website für zusätzliche Unterstützung.