Nach dem tragischen Tod des 14-jährigen Sewell Setzer III, der nach der Nutzung der Plattform Selbstmord beging, muss sich Character AI mit rechtlichen Schritten befassen.
Seine Mutter, Megan Garcia, hat Klage eingereicht Klage gegen das Unternehmen, seine Gründer Noam Shazeer und Daniel De Freitas sowie Google. In der Klage werden Fahrlässigkeit, unrechtmäßige Tötung und Produkthaftung geltend gemacht und behauptet, dass die Plattform nicht über die notwendigen Sicherheitsmaßnahmen verfügte, um schutzbedürftige Benutzer wie ihren Sohn zu schützen.
Ein tragischer Vorfall
Setzer nutzte seit mehreren Monaten die Charakter-KI und interagierte mit Bots, die fiktiven Charakteren nachempfunden waren, darunter Daenerys Targaryen aus Game of Thrones. Am 28. Februar 2024, wenige Augenblicke nach seiner letzten Interaktion mit der Plattform, beendete Setzer auf tragische Weise sein Leben. Die Klage wirft ernsthafte Bedenken hinsichtlich der Sicherheitsmaßnahmen der Plattform für Minderjährige und schutzbedürftige Benutzer auf – oder deren Fehlen.
Die Charakter-KI ist wegen ihrer anthropomorphisierten Bots, die sowohl fiktive Charaktere als auch reale Charaktere nachahmen, in die Kritik geraten. Obwohl diese Personalisierung für viele Benutzer interessant ist, verwischt sie die Grenze zwischen Fantasie und Realität, insbesondere für Teenager, die die Auswirkungen dieser Interaktionen möglicherweise nicht vollständig begreifen.
Als Reaktion auf diesen Vorfall hat Character AI implementierte Updateseinschließlich Filtern und Warnungen, um Benutzer vor vertraulichen Inhalten zu warnen. Viele Kritiker halten diese Maßnahmen jedoch für unzureichend. Das Unternehmen war in der Vergangenheit mit ähnlichen Kontroversen konfrontiert, beispielsweise mit der unbefugten Erstellung eines Chatbots auf Basis von Jennifer Ann Crecente. Ihre Familie war gezwungen, rechtliche Schritte einzuleiten, um ihr Konterfei von der Plattform zu entfernen.
Die Klage legt nahe, dass Character AI bei seiner Entwicklung der Geschwindigkeit Vorrang vor der Sicherheit eingeräumt hat. Laut der Beschwerde äußerte Gründer Noam Shazeer seine Frustration über Verzögerungen bei Google aufgrund von Bedenken hinsichtlich des „Markenrisikos“ während der Entwicklung des Meena-LLM-Modells. Dies, so heißt es in der Klage, deutet auf ein Muster hin, bei dem die KI-Entwicklung über die Benutzersicherheit gestellt wird.
Dies ist nicht das erste Mal, dass die Charakter-KI mit Gegenreaktionen konfrontiert wird. In einem früheren Fallwurde ohne Erlaubnis ein Chatbot erstellt, der auf Jennifer Ann Crecente basiert, einer jungen Frau, die 18 Jahre zuvor verstorben war. Ihre Familie musste rechtliche Schritte einleiten, um ihr Konterfei von der Plattform zu entfernen, was die anhaltenden Bedenken hinsichtlich der Einwilligung und des Datenschutzes in der KI verdeutlicht.
Mit der Weiterentwicklung der KI-Technologie liegt die Verantwortung für den Schutz der Benutzer – insbesondere gefährdeter Benutzer wie Teenager – direkt auf den Schultern der Entwickler. Garcias Klage deutet darauf hin, dass Character AI sein Produkt überstürzt herausbrachte und möglicherweise die Benutzersicherheit zugunsten einer schnelleren Entwicklung opferte.
Dieser herzzerreißende Fall ist eine Erinnerung daran, dass KI zwar innovative Tools und Erfahrungen bieten kann, sie jedoch mit Sorgfalt entwickelt und eingesetzt werden muss.
Bildnachweis: Kerem Gülen/Midjourney
