2025年8月8日，Roblox引入了Sentinel，这是一种开源的人工智能系统，旨在检测在线聊天中潜在的儿童剥削模式，以解决对平台安全的批评和法律挑战的升级。
Roblox报告了超过1.11亿个每月活跃用户，表示Sentinel已经有助于确定数百个潜在的儿童剥削案件，随后向执法机构报告了这些案件。 Roblox的首席安全官Matt Kaufman详细介绍了该公司以前的保护措施（例如亵渎性和虐待语言的过滤器）如何仅限于分析单个线条或简短的文本序列。考夫曼说：“但是，当您考虑与儿童危害或修饰有关的事情时，您要看的行为类型在很长一段时间内显现出来。”
Sentinel的设计是为了识别在长时间内展开的对话中的行为模式，而不是专注于孤立的单词或短语。该系统每天处理约60亿个聊天消息，以一分钟的快照分析它们以评估上下文。为了促进这种分析，Roblox工程师开发了两个不同的索引。一个索引包括良性，无害的聊天互动的示例，而第二个索引包含已确定为违反儿童安全指南的消息。
Roblox的信任和安全工程副总裁Naren Koneru解释说，新内容已不断地纳入两个索引中，以完善AI模型的检测功能。 Koneru说：“当我们发现更多不良演员时，索引会变得更好，我们只是不断更新该索引。” Koneru补充说：“然后，我们还有另一个示例，即正常的常规用户做什么？”
该系统监视用户正在进行的互动以确定其行为的轨迹，评估其是否与安全行为保持一致或表明对风险活动的发展。 Koneru指出：“这不会在一条消息上发生，因为您只会发送一条消息，但是由于您所有的日子互动都导致了这两个消息之一。”如果Sentinel标记用户进行进一步审查，则人类主持人会进行深入的评论，检查用户的完整聊天历史记录，他们的朋友列表以及他们在平台上与之参与的游戏。如果被认为是必要的，Roblox将这些案件升级给执法部门和国家失踪和被剥削儿童中心。
在针对Roblox的法律挑战中，Sentinel的引入发生。上个月在爱荷华州提起的诉讼称，成人捕食者通过Roblox平台与一名13岁女孩联系，随后被绑架并贩运了多个州。该诉讼断言该平台的设计有助于未成年人的脆弱性。 Roblox维护了禁止在其聊天功能中传播个人信息，图像和视频的政策。
除非提供明确的父母同意，否则对13岁以下用户的直接消息受到限制。 Roblox监视聊天通信是否违反安全性，这是该平台上的聊天未经端到端加密的事实所实现的。该公司承认，没有系统可以保证绝对保护，但认为AI的进步（例如Sentinel）大大提高了早期检测的可能性。
