开放人工智能 释放 最近周二的一份报告详细介绍了该公司对 40 多个违反其使用政策的恶意网络的破坏，这是通过使用自动化工具和人工审核员监控 ChatGPT 对话以防止系统滥用的结果。虽然包括 ChatGPT 在内的人工智能聊天机器人的用户可以启用隐私设置，以防止他们的对话被用于训练未来的人工智能模型，但这并不排除所有监控。 OpenAI 等人工智能公司会仔细审查聊天内容，以维护用户安全和平台完整性。此过程涉及自动化系统的部署和人工审核员的使用。其既定目标是防止滥用 ChatGPT 进行可能造成伤害的活动，例如创建恶意软件或开发用于大规模监视和其他安全威胁的工具。用户可以选择调整隐私配置，以防止个人或工作相关数据被吸收到用于训练后续人工智能版本的数据池中。该公司的报告详细介绍了 40 多个被发现违反其使用政策的网络的中断情况和报告。被确定为试图滥用 ChatGPT 的恶意行为者包括一系列实体。 OpenAI 将这些行为归类为“控制人口或胁迫其他国家的独裁政权，以及诈骗、恶意网络活动和秘密影响行动等滥用行为”。 OpenAI 的调查结果表明，这些威胁行为者主要使用人工智能来加速和完善现有策略。该公司指出，这些参与者正在使用人工智能来改进“旧的剧本以加快行动速度”，但不一定直接从使用 ChatGPT 中获得根本性的新功能。除了打击恶意国家和犯罪分子之外，OpenAI 还监控对话中是否有自残迹象，以帮助可能陷入困境的用户。对个人用户安全的关注被描述为一个关键优先事项，在一名青少年自杀身亡的报道之后，这一重点得到了加强，该自杀事件与 ChatGPT 的互动有关。考虑到这一安全重点，OpenAI 最近几周还为 ChatGPT 服务引入了家长控制。 OpenAI 的报告没有详细解释标记潜在滥用行为所涉及的具体机制。该公司承认存在灰色区域，根据具体情况，某些活动可能被解释为良性或恶意。此类模棱两可的活动的例子包括“根据其上下文，可以指示无害活动或滥用的提示和生成，例如翻译文本、修改代码或创建网站。”为了应对这种复杂性，该公司表示，它采用了“细致入微且知情的方法，重点关注威胁行为者的行为模式，而不是孤立的模型交互”。此方法旨在识别真正的威胁，而不破坏更广泛用户群的合法使用。报告来自 吉兹莫多 提供了 OpenAI 识别和破坏的高级威胁的具体示例。其中一起案件涉及一个有组织的犯罪网络，据信该网络在柬埔寨运营，该网络试图利用 ChatGPT 来简化其非法活动。另一个例子涉及俄罗斯的政治影响力行动，该行动使用人工智能生成旨在与第三方视频生成人工智能模型一起使用的提示。 OpenAI 还停止了与中国政府相关的账户，这些账户正在寻求帮助设计监控社交媒体平台对话的系统。有关中断活动的更多详细信息由 路透社。据报道，OpenAI 禁止了一组寻求网络钓鱼和恶意软件活动帮助的中文帐户。这些帐户还寻求可以通过另一种人工智能工具 DeepSeek 执行的自动化方面的帮助。另外，与试图在 ChatGPT 的协助下开发恶意软件的俄罗斯犯罪团伙相关的账户也被阻止。在类似的行动中，被发现使用该平台进行网络钓鱼活动的韩语用户被禁止使用该服务。 OpenAI 10 月份的报告专门关注恶意活动和秘密行动，并未包含有关自残对话的数据或细节。不过，该公司已就此问题另行发布公告。 OpenAI 最近在社交媒体平台 X 上发表声明称，它已经更新了名为 GPT-5 Instant 的模型，以“更好地识别和支持处于困境的人们”。该公司解释说，对话的敏感部分现在被路由到这个专门的模型，该模型旨在提供更有用的响应。 ChatGPT 现在还将告知用户在对话期间使用的是哪种特定模型。 https://twitter.com/OpenAI/status/1974234951928459450 此更新是提高用户安全的更广泛计划的一部分。 8 月下旬，OpenAI 宣布 ChatGPT 已接受训练，不会直接响应提及自残意图的提示。人工智能不会满足此类请求，而是被编程为以同理心做出回应，并引导用户寻求专业帮助，为自杀预防服务和危机热线提供信息。如果人工智能检测到对其他人造成身体伤害的潜在风险，则会激活不同的协议。这些对话被路由到可能涉及人工审查的专门系统，如果认为有必要，可能会导致执法机构升级。
