AI Performance Company Arthur于2025年3月31日推出了Arthur Engine,这是第一个开源的实时AI评估引擎。该工具可帮助团队监视,调试和改善生成的AI和传统ML模型,所有这些模型都没有第三方依赖或数据隐私风险。
随着AI采用的扩大,实时AI评估旨在应对不断增长的风险。没有它,组织可能会面临数据泄漏,模型退化和调试挑战。 Arthur Engine试图通过即时可见性,实时护栏和即时模型优化解决这些问题。
亚瑟(Arthur)的负责人AI PM Ashley Nader表示,Arthur Engine的开源Arthur Engine将为全世界的开发人员,研究人员和建筑商提供有效的AI评估工具。
Arthur Engine通过本地操作与传统的AI监视工具不同,该工具可以保留数据主权并减轻合规风险。关键功能包括:
- 实时AI评估: 在影响产量之前立即检测到失败。
- 主动护栏: 实时介入以防止幻觉和不良输出。
- 可自定义的指标: 对特定AI用例的裁缝评估。
- 隐私保护和安全: 将所有数据保留在基础架构中。
- 在所有模型中工作: 支持GPT,Claude,Gemini,开放式重量模型和传统ML。
Arthur的机器学习技术负责人Cherie Xu表示,开源Arthur引擎使开发人员可以使用AI信任和安全性,使他们能够使用可自定义的,高性能的监视工具来保护AI系统。
Arthur Engine是Arthur更广泛的AI性能监控套件的组成部分,旨在帮助组织实时验证AI输出,检测性能转移并确保法规合规性。此外,谐波安全数据显示8.5%的员工提示包含敏感数据。 Arthur引擎可在GitHub上访问,并且可以为新的Arthur平台提供候补名单。
亚瑟(Arthur)成立于2019年,已从包括Index Ventures,Acrew Capital和Greycroft在内的公司获得了超过6000万美元的风险投资。