总部位于旧金山的AI可解释性研究公司Goodfire已获得Menlo Ventures领导的A系列资金5,000万美元。这项投资还包括Lightspeed Venture Partners,Anthropic和B Capital的参与,将支持Goodfire研究计划的扩展以及其旗舰可解释性平台Ember的发展。
资金是在Goodfire创立之后不到一年的,其团队包括AI的顶级可解释性研究人员以及来自OpenAI和Google DeepMind等组织的经验丰富的初创公司。 Goodfire的研究人员帮助建立了机械性解释性领域,创作了关键论文和开拓性进步,例如稀疏的自动编码器用于功能发现。
Goodfire的Ember平台将AI模型内的神经元解码,可直接访问其内部工作。这使用户可以发现隐藏的知识,塑造模型行为并提高性能。该公司的技术旨在解决围绕神经网络的知识差距,使它们更容易设计,并且不太容易发生不可预测的失败。
该投资反映了机械性解释性在AI开发中的重要性。 “随着AI能力的提高,我们了解这些系统的能力必须保持步伐,” Anthropic的首席执行官兼联合创始人Dario Amodei说。 GoodFire计划通过针对Frontier模型开发人员的有针对性计划加速其研究,并在各种领域发布其他研究预览。
Goodfire已经与Arc Institute合作,ARC Institute的联合创始人Patrick Hsu指出,GoodFire的可解释性工具使该公司的DNA基金会模型2.该公司的努力旨在揭示新的科学见解并重塑对AI模型的理解。