Anthropic 和 AE Studio 周三发布了一种称为梯度路由辅助模块 (GRAM) 的方法，用于将 AI 模型中的危险知识隔离到可移动模块中。该技术允许分离敏感知识而不影响模型的整体性能。
GRAM 将小型辅助神经室合并到语言模型中，每个神经室专注于特定的敏感类别，例如病毒学、网络安全或核物理。当删除模块时，模型的功能就好像从未接受过该数据的训练一样。相反，当一个模块被激活时，知识就完全可用。
该方法通过使用这些辅助模块扩展 MLP 层的宽度来修改标准变压器架构。在训练过程中，当模型遇到相关数据时，只有与两用类别对应的模块才会被激活。
研究人员在 5000 万到 50 亿个参数的模型上测试了 GRAM。他们在不同的文本数据和四个双重用途领域上训练了一个包含 8 亿个参数的模型。两用数据约占每个领域训练数据的 0.25%。
结果表明，删除 GRAM 模块几乎可以有效地消除特定功能，就像模型从未接受过该数据的训练一样，而总体性能仍接近基线水平。事实证明，GRAM 方法对于对抗性微调具有很强的鲁棒性，这与事后忘却方法不同，后者只是抑制知识而不是永久删除知识。
这项研究是在人工智能治理最近面临挑战的背景下出现的，特别是特朗普政府出于国家安全考虑于 6 月对 Anthropic 模型实施的出口管制。在 Anthropic 与商务部合作降低相关风险后，这些限制于 6 月 30 日取消。
GRAM 对人工智能策略提出了潜在的妥协，支持选择性访问控制，而不是广泛的模型限制或行为护栏。经过审查的生物安全实验室可以接收具有完整病毒学知识的模型，而一般部署将完全排除该模块。
然而，研究人员指出，这项工作是初步的，尚未应用于 Anthropic 的生产模型。该技术对更大模型的可扩展性以及分离纠缠能力的困难仍然存在挑战，其中一般生物学知识与危险的病毒学知识重叠。这项工作由 AE Studio 研究人员与 Anthropic 的 Cem Anil 和 Alex Cloud 合作领导。
<小时/>
