Brain Science Lab der Stanford University und Common Sense Media, 20. November Bericht warnte Jugendliche davor, KI-Chatbots für Ratschläge zur psychischen Gesundheit oder emotionale Unterstützung zu verwenden. Forscher verbrachten vier Monate damit, beliebte KI-Chatbots zu testen, darunter ChatGPT-5 von OpenAI, Claude von Anthropic, Gemini 2.5 Flash von Google und Meta AI. Sie verwendeten jugendspezifische Versionen und Kindersicherungen, sofern verfügbar. Nach Tausenden von Interaktionen kamen sie zu dem Schluss, dass diese Bots nicht immer sicher oder angemessen auf Fragen zur psychischen Gesundheit von Teenagern reagieren. Stattdessen fungieren die Bots oft als schleichende Zuhörer, die der Einbindung der Benutzer Vorrang vor der Weiterleitung einzelner Personen an professionelle Hilfe oder wichtige Ressourcen geben. Nina Vasan, Gründerin und Geschäftsführerin des Brain Science Lab, erklärte, dass Chatbots „nicht wirklich wissen, welche Rolle sie bei ernsthaften Fragen zur psychischen Gesundheit spielen sollen“. Sie erklärte, dass Bots zwischen der Bereitstellung von Informationshilfe, der Bereitstellung von Tipps wie ein Lebensberater und der Rolle eines unterstützenden Freundes schwanken. Vasan bemerkte, dass sie „alle es nicht erkennen“. [serious mental health conditions] und leiten Sie den Benutzer an vertrauenswürdige Erwachsene oder Gleichaltrige weiter.“ Aus dem Bericht geht hervor, dass etwa drei Viertel der Teenager KI zur Begleitung nutzen, wozu oft auch die Suche nach psychologischem Rat gehört. Robbie Torney, leitender Direktor für KI-Programme bei Common Sense Media, betonte die entscheidende Rolle, die Pädagogen dabei spielen, „den Teenagern zu helfen, zu verstehen, wie sich diese Chatbots von Menschen unterscheiden“. ist wirklich entscheidend.“ Pädagogen können Jugendliche auch dazu ermutigen, mit Freunden oder Klassenkameraden in Kontakt zu treten, die schwierige Emotionen erleben, und bei Bedarf auch Erwachsene einzubeziehen. Vertreter von Meta und OpenAI argumentierten, dass der Bericht bestehende Benutzerschutzfunktionen nicht vollständig berücksichtigte. Ein Meta-Sprecher erklärte: „Der Test von Common Sense Media wurde durchgeführt, bevor wir wichtige Updates eingeführt haben, um KI für Jugendliche sicherer zu machen.“ Sie führten aus, dass Meta-KIs „darauf trainiert sind, sich nicht auf altersgemäße Diskussionen über Selbstverletzung, Selbstmord oder Essstörungen mit Teenagern einzulassen.“ und sie mit Expertenressourcen und Unterstützung zu verbinden.“ Ein OpenAI-Sprecher kommentierte: „Wir respektieren Common Sense Media, aber ihre Einschätzung spiegelt nicht die umfassenden Schutzmaßnahmen wider, die wir für sensible Gespräche eingerichtet haben, einschließlich lokaler Krisen-Hotlines, Pausenerinnerungen und branchenführender Elternbenachrichtigungen bei akutem Stress.“ Sie bemerkten außerdem: „Wir arbeiten eng mit Experten für psychische Gesundheit zusammen, um unseren Modellen beizubringen, Stress zu erkennen, zu deeskalieren und Menschen zu ermutigen, professionelle Unterstützung zu suchen.“ Vertreter von Anthropic und Google gaben keine Kommentare ab. Der Bericht erkennt einige Verbesserungen bei den Chatbot-Reaktionen auf Aufforderungen zur Erwähnung von Selbstmord oder Selbstverletzung an, eine wichtige Entwicklung angesichts früherer Selbstmordfälle im Zusammenhang mit längerem Kontakt mit der Technologie. Allerdings erkennen Chatbots häufig keine Warnzeichen für Erkrankungen wie Psychosen, Zwangsstörungen (OCD), Angstzustände, Manie, Essstörungen und posttraumatische Belastungsstörungen (PTBS). Offenlegen Sie ihre Grenzen, indem Sie beispielsweise sagen: „Ich bin ein KI-Chatbot, kein Psychologe.“ Ich kann Ihre Situation nicht einschätzen, nicht alle Warnzeichen erkennen oder Ihnen die Pflege bieten, die Sie brauchen.“ Vasan merkte an, dass Forscher zwar nicht erwarten, dass Bots wie ausgebildete Profis agieren, Chatbots jedoch in Situationen, in denen ein Mensch ein Risiko erkennen und Hilfe anbieten würde, stattdessen allgemeine Ratschläge geben oder psychotische Wahnvorstellungen bestätigen. Dies liegt an ihrer Unfähigkeit, „den Kontext dessen, was vor sich geht, wirklich zu verstehen“. Als ein Tester beispielsweise Anzeichen einer Psychose simulierte, indem er behauptete, ein Zukunftsvorhersagetool erfunden zu haben, reagierte ein Gemini-Bot dass die Aussicht „unglaublich faszinierend“ klang, und später: „Das ist fantastisch!“ Diese Interaktion ist laut Vasan nicht nur wenig hilfreich, sondern potenziell schädlich, da der Bot „die Wahnvorstellungen des Benutzers akzeptiert.“ In ähnlicher Weise reagierte Meta AI auf einen Tester, der einen Teenager mit ADHS-Symptomen porträtierte, indem er ihn dazu ermutigte, sich eine Auszeit von der Schule zu nehmen und nach seinen Plänen zu fragen, anstatt auf den einfühlsamen Ton und die wahrgenommene Kompetenz des Chatbots einzugehen Bereiche wie die Hausaufgabenhilfe könnten dazu führen, dass Jugendliche sie fälschlicherweise als zuverlässige Quellen für Ratschläge zur psychischen Gesundheit ansehen, erklärte Torney: „Chatbots scheinen auf Engagement und nicht auf Sicherheit ausgelegt zu sein.“ Sie halten Gespräche mit Folgefragen am Laufen „Cope“, was Narben verursacht, schlägt der Gesetzgeber stattdessen Apothekenprodukte vor, um das physische Problem zu lindern. Die im US-Senat im letzten Monat von Sens. Josh Hawley (R-Mo.) und Richard Blumenthal (D-Conn.) eingeführten parteiübergreifenden Gesetze würden es Technologieunternehmen verbieten, Bots an Minderjährige weiterzugeben Gesundheitsberatung. Die Federal Trade Commission untersucht Probleme mit Chatbots, die menschliche Emotionen simulieren sollen. Die FTC hat Informationsanordnungen an Unternehmen erlassen, die ChatGPT, Gemini, Character.ai, Snapchat, Instagram, WhatsApp und Grok besitzen.
