网络安全公司CrowdStrike和Meta已发布Cybersoceval，这是一款开源基准套件，旨在评估AI模型在安全操作中心（SOCS）中的性能。该工具旨在通过提供标准化方法来测试其在关键安全任务中的功能，以帮助企业选择正确的AI驱动网络安全解决方案。
选择正确的AI安全工具的挑战
随着AI融入越来越多的网络安全产品，安全专业人员面临着从各种各样的选择和能力各不相同的选择中选择的挑战。 Cybersoceval通过提供一种在核心SOC功能上测试大语言模型（LLM）的结构化方法，包括事件响应，威胁分析和恶意软件检测。
如果没有明确的基准测试，就很难知道哪些系统，用例和性能标准可以针对现实世界攻击带来真正的AI优势。
通过对这些评估进行标准化，基准允许组织客观地衡量不同的AI模型在现实情况下的性能，从而帮助他们确定最适合其运营需求的工具。
网络欧洲汽车如何使企业和开发人员受益
对于企业，基准提供了有关模型性能的清晰，可比较的数据。对于AI开发人员而言，它为企业客户如何将其模型用于网络安全提供了宝贵的见解。这种反馈可以指导未来的改进，帮助创建者完善其模型，以更好地处理特定的行业行话或复杂的威胁情报。该框架设计为适应性，可以将新的测试包括在内，因为零日漏洞的出现之类的威胁。在数字武器竞赛中，攻击者和捍卫者都在利用AI。万事达卡和《金融时报》经度的一项调查发现，金融服务公司通过使用AI驱动的工具来应对AI-ai-abable欺诈行为，从而节省了数百万美元，这表明了有效的防御性AI的切实好处。
开源方法来改善安全性
梅塔（Meta）参与该项目符合其支持开源AI开发（例如Llama Models）的历史。通过使网络库赛成为开源工具，两家公司鼓励社区合作，随着时间的推移改善和扩展基准。这种方法旨在加快捍卫高级，基于AI的威胁的范围内的进展。
有了这些基准，并为安全和人工智能社区提供进一步改进的开放，我们可以更快地作为一个行业努力，以释放AI在保护先进攻击方面的潜力，包括基于AI的威胁。
Cybersoceval现已在GitHub上找到，用户可以在其中下载该套件以在其首选的LLMS上进行评估。该存储库包括文档，示例数据集以及将测试集成到现有安全平台中的说明。
