米斯特拉尔人工智能有 宣布 发布新的内容审核 API。该 API 已为 Mistral 的 Le Chat 聊天机器人提供支持，旨在跨各种安全标准和特定应用程序对不需要的文本进行分类和管理。 Mistral 的审核工具利用名为 Ministral 8B 的微调语言模型，能够处理多种语言，包括英语、法语和德语，并将内容分为九种不同类型：性内容、仇恨和歧视、暴力和威胁、危险或犯罪活动、自残、健康、财务、法律和个人身份信息 (PII)。
审核 API 用途广泛，适用于原始文本和对话消息。 “在过去的几个月里，我们看到整个行业和研究界对基于人工智能的新审核系统的热情日益高涨，这有助于使审核在应用程序中更具可扩展性和鲁棒性，”米斯特拉尔在最近的一篇博客文章中分享道。该公司将其方法描述为“务实”，旨在通过应用细致入微的安全指南来解决模型产生的危害（例如不合格建议和 PII 泄露）带来的风险。
审核 API 解决偏见问题和定制需求
人工智能驱动的内容审核系统具有高效、可扩展的内容管理的潜力，但它们并非没有局限性。类似的人工智能系统历来都在与偏见作斗争，特别是在检测与某些人口统计相关的语言风格方面。例如，研究表明，语言模型经常将非裔美国人白话英语 (AAVE) 中的短语标记为毒性过大，并错误地将讨论残疾的帖子标记为过于消极。
生成式人工智能与预测式人工智能：全面比较
米斯特拉尔承认创建公正的审核工具面临挑战，并表示虽然他们的审核模型非常准确，但仍在不断发展。该公司尚未将其 API 的性能与 Jigsaw 的 Perspective API 或 OpenAI 的审核 API 等既定工具进行基准测试。 Mistral 旨在通过与客户和研究社区的持续合作来完善其工具，并表示：“我们正在与客户合作构建和共享可扩展、轻量级和可定制的审核工具。”
Batch API 使处理成本降低 25%
Mistral 还引入了专为大容量请求处理而设计的批处理 API。 Mistral 声称，通过异步处理这些请求，批处理 API 可以将处理成本降低 25%。这一新功能与 Anthropic、OpenAI 和 Google 等其他科技公司提供的类似批处理选项相一致，旨在提高客户管理大量数据流的效率。
Mistral 的内容审核 API 旨在适应各种用例和语言。该模型经过训练可以处理多种语言的文本，包括阿拉伯语、中文、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。这种多语言功能确保该模型可以处理不同地区和语言环境中的不良内容。 Mistral 的工具提供了两个针对原始文本或对话上下文量身定制的端点，可满足不同的用户需求。该公司为用户提供详细的技术文档和基准来衡量模型的性能。
随着 Mistral 不断完善其工具，API 提供了独特的定制级别，允许用户根据特定的内容安全标准调整参数。
特色图片来源： 米斯特拉尔
