14 岁的 Sewell Setzer III 在使用该平台后自杀身亡后，Character AI 面临法律诉讼。
他的母亲梅根·加西亚 (Megan Garcia) 已提起诉讼 诉讼 反对该公司、其创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas）以及谷歌。该诉讼声称存在疏忽、过失死亡和产品责任，并指控该平台缺乏必要的安全措施来保护像她儿子这样的弱势用户。
悲惨事件
Setzer 已经使用角色 AI 几个月了，与以虚构角色为模型的机器人进行交互，其中包括《丹妮莉丝·坦格利安》中的角色 权力的游戏。 2024 年 2 月 28 日，在他最后一次与该平台互动后不久，Setzer 悲惨地结束了自己的生命。该诉讼引发了人们对该平台对未成年人和弱势用户的保障措施（或缺乏保障措施）的严重担忧。
角色人工智能因其模仿虚构角色和现实生活角色的拟人化机器人而受到密切关注。这种个性化虽然吸引了许多用户，但模糊了幻想与现实之间的界限，特别是对于那些可能无法完全理解这些交互的含义的青少年来说。
针对此次事件，Character AI 实施的更新，包括警告用户有关敏感内容的过滤器和警报。然而，许多批评者认为这些措施还不够。该公司过去也面临过类似的争议，例如未经授权创建基于 Jennifer Ann Crecente 的聊天机器人。她的家人被迫采取法律行动，将她的肖像从平台上删除。
该诉讼表明，Character AI 在开发过程中将速度置于安全之上。根据诉状，创始人诺姆·沙泽尔 (Noam Shazeer) 对谷歌在 Meena LLM 模型开发过程中担心“品牌风险”而造成的延误表示沮丧。诉讼称，这表明了一种将人工智能开发置于用户安全之上的模式。
这并不是角色人工智能第一次面临强烈反对。 在之前的案例中，一个聊天机器人是在未经许可的情况下根据 18 年前去世的年轻女性 Jennifer Ann Crecente 创建的。她的家人必须采取法律措施将她的肖像从平台上删除，这凸显了人们对人工智能同意和隐私的持续担忧。
随着人工智能技术的进步，保护用户（尤其是青少年等弱势群体）的责任完全落在了开发人员的肩上。加西亚的诉讼表明，Character AI 仓促发布其产品，可能会为了更快的开发而牺牲用户安全。
这个令人心碎的案例提醒我们，虽然人工智能可以提供创新的工具和体验，但它的构建和部署必须谨慎。
图片来源： 凯雷姆·葛兰/中途
