Am 8. August 2025 führte Roblox Sentinel vor, ein Open-Sourcing-System für künstliche Intelligenz, das potenzielle Ausbeutungsmuster für Kinder in Online-Chats erfasst und eskalierende Kritik und rechtliche Herausforderungen in Bezug auf die Sicherheit der Plattform mit Plattform befassen.
Roblox, der über 111 Millionen aktive Benutzer monatlich meldete, gaben an, dass Sentinel bereits bei der Identifizierung von Hunderten potenzieller Fälle von Kinderbeutung unterstützt habe, die anschließend den Strafverfolgungsbehörden gemeldet wurden. Matt Kaufman, Chief Safety Officer von Roblox, erläuterte, wie die früheren Schutzmaßnahmen des Unternehmens, wie Filter für Obszönität und missbräuchliche Sprache, auf die Analyse einzelner Zeilen oder kurzen Textsequenzen beschränkt waren. Kaufman erklärte: „Aber wenn Sie über Dinge nachdenken, die mit dem Gefährdung oder der Pflege des Kindes verbunden sind, sind die Arten von Verhaltensweisen, die Sie sich über einen sehr langen Zeitraum hinweisen, manifestiert.“
Sentinel ist so konstruiert, dass Verhaltensmuster in Gesprächen identifiziert werden, die sich über längere Zeiträume entfalten, anstatt sich auf isolierte Wörter oder Phrasen zu konzentrieren. Das System verarbeitet täglich rund 6 Milliarden Chat-Nachrichten und analysiert sie in einminütigen Schnappschüssen, um den Kontext zu bewerten. Um diese Analyse zu erleichtern, entwickelten Roblox -Ingenieure zwei unterschiedliche Indizes. Ein Index umfasst Beispiele für gutartige, harmlose Chat -Interaktionen, während der zweite Index Nachrichten enthält, die als Verstoß gegen die Sicherheitsrichtlinien für Kinder identifiziert wurden.
Naren Koneru, Vizepräsident für Ingenieurwesen für Vertrauen und Sicherheit bei Roblox, erklärte, dass neue Inhalte kontinuierlich in beide Indizes einbezogen werden, um die Erkennungsfunktionen des KI -Modells zu verfeinern. Koneru erklärte: „Dieser Index wird besser, wenn wir mehr schlechte Schauspieler erkennen, wir aktualisieren diesen Index einfach kontinuierlich.“ Koneru fügte hinzu: „Dann haben wir eine weitere Stichprobe von Was macht ein normaler, regulärer Benutzer?“
Das System überwacht die laufenden Interaktionen eines Benutzers, um die Flugbahn ihres Verhaltens zu bestimmen und zu beurteilen, ob es auf ein sicheres Verhalten in Einklang steht, oder zeigt einen Fortschritt in Richtung riskanter Aktivitäten an. Koneru bemerkte: „Es passiert nicht auf einer Nachricht, weil Sie nur eine Nachricht senden, aber es geschieht, weil alle Interaktionen Ihrer Tage zu einer dieser beiden führen.“ Wenn Sentinel einen Benutzer für eine weitere Prüfung markiert, führen menschliche Moderatoren eine eingehende Überprüfung durch und untersuchen den vollständigen Chat-Historie des Benutzers, ihre Liste der Freunde und die Spiele, mit denen sie auf der Plattform beschäftigt sind. Bei notwendigem Rox eskaliert Roblox diese Fälle an die Strafverfolgungsbehörden und das Nationale Zentrum für vermisste und ausgebeutete Kinder.
Die Einführung von Sentinel erfolgt inmitten der laufenden rechtlichen Herausforderungen gegen Roblox. In einer in Iowa im vergangenen Monat eingereichten Klage wird behauptet, dass ein 13-jähriges Mädchen von einem erwachsenen Raubtier über die Roblox-Plattform kontaktiert, anschließend entführt und über mehrere Staaten handelt. In der Klage wird behauptet, dass das Design der Plattform die Verwundbarkeit für Minderjährige erleichtert. Roblox behält Richtlinien bei, die die Verbreitung persönlicher Informationen, Bilder und Videos innerhalb der Chat -Funktionen verbieten.
Direktes Messaging für Benutzer unter 13 Jahren ist eingeschränkt, es sei denn, es wird eine explizite Zustimmung der Eltern erteilt. Roblox überwacht Chat-Kommunikation für Sicherheitsverletzungen, eine Fähigkeit, die durch die Tatsache ermöglicht wird, dass Chats auf der Plattform nicht endgültig verschlüsselt sind. Das Unternehmen erkennt an, dass kein System absolute Schutz garantieren kann, argumentiert jedoch, dass KI -Fortschritte wie Sentinel die Wahrscheinlichkeit einer frühen Entdeckung erheblich verbessern.
