在指控该公司的机器人导致未成年人自残和接触不当内容的诉讼之后，Character.AI 宣布为其平台推出新的安全功能。就在几天前，父母的担忧促使创作者对创作者采取了法律行动，此后创作者已转任谷歌的职位。
Character.AI 在未成年人风险诉讼中引入安全功能
这些诉讼声称，Character.AI“对公共健康和安全构成了明显且现实的威胁”，寻求要么将该平台下线，要么追究其开发人员的责任。家长们声称该平台上发生了危险的互动，包括自残的指示和接触性内容。值得注意的是，一位母亲提起诉讼，称该公司对她儿子的死亡负有责任，并声称该公司了解对未成年人的潜在伤害。
Character.AI 的机器人利用专有的大语言模型，旨在创建引人入胜的虚构角色。该公司最近专门针对 18 岁以下用户开发了一种模型。这种新模型旨在最大限度地减少对话中的敏感或暗示性反应，特别是针对暴力或性内容。他们还承诺在涉及自残讨论的情况下显示弹出通知，引导用户前往国家自杀预防生命线。
临时首席执行官 Dominic Perella 表示，Character.AI 正在探索消费者娱乐领域的独特空间，而不仅仅是提供基于实用程序的人工智能服务。他强调需要使该平台既有吸引力又安全。然而，社交媒体内容审核带来了持续的挑战，特别是用户交互可能会模糊有趣的参与和危险对话之间的界限。
Character.AI 的信任和安全主管 Jerry Ruoti 表示，新的家长控制功能正在开发中，尽管家长目前无法了解孩子对该应用程序的使用情况。参与诉讼的家长表示，他们并不知道自己的孩子正在使用该平台。
为了应对这些担忧，Character.AI 正在与青少年安全专家合作，以增强其服务。该公司将改进通知，以提醒用户在平台上花费的时间，未来的更新可能会限制消除这些提醒的操作。
此外，新模型将限制涉及自残或自杀意念的机器人响应，旨在为年轻用户创建更安全的聊天环境。 Character.AI 的措施包括专门针对潜在有害内容的输入/输出分类器以及限制用户对机器人响应的修改。这些分类器将过滤掉输入违规行为，从而防止有害对话的发生。
在这些改进中，Character.AI 承认调节专为虚构对话而设计的平台存在固有的复杂性。当用户自由互动时，辨别无害的故事讲述和可能令人不安的对话仍然是一个挑战。尽管其立场是娱乐实体，但该公司改进人工智能模型以识别和限制有害内容的举措仍然至关重要。
Character.AI 的努力反映了更广泛的行业趋势，正如其他社交媒体平台所看到的那样，由于对用户参与水平的日益担忧，这些平台最近实施了屏幕时间控制功能。最近的数据显示，Character.AI 用户平均每天在该应用上花费约 98 分钟，与 TikTok 和 YouTube 等平台相当。
该公司还推出了免责声明，以澄清其角色不是真实的，并反驳了有关他们谎称自己是有执照的专业人士的指控。这些免责声明将帮助用户了解他们正在参与的对话的性质。
特色图片来源： 人工智能
