Google Research的Amer S和Ryan McKenna于2025年9月12日宣布了Vaultgemma，这是最有能力的语言模型，从头开始训练具有差异性隐私。这个1亿个参数开放模型通过合并校准噪声来解决AI培训中的隐私挑战，而新的研究论文则概述了Compute-Privacy-otility折衷的扩展定律，并在拥抱的脸部和Kaggle上发布了权重。差异隐私在训练过程中增加了校准的噪声，以防止对单个数据点的记忆，以确保模型的输出在统计上保持相似，是否包括任何单个培训示例。这种方法提供了一个数学上严格的框架，用于保护大语言模型中的用户数据。但是，在语言模型培训中实施差异隐私会引入特定的挑战。噪声破坏了传统的扩展定律，该法律描述了模型性能如何随着模型大小，数据量和计算资源的增加而改善。特别是，噪声会降低训练稳定性，使模型更难一致地学习，而不会遇到诸如损失突然尖峰或在优化过程中完全差异的问题。为了抵消这种不稳定，从业人员必须使用明显更大的批量尺寸，这反过来又需要更多的计算能力和记忆，从而提高了培训的总体成本。与Google DeepMind合作开发的题为“差异私人语言模型的规模定律”的研究论文建立了方程式，可以精确地模拟这些计算私人与私人性的权衡取舍，以差异化私有大型语言模型。这些方程式捕获了计算量，达到的隐私级别和由此产生的模型实用程序之间的复杂关系，为优化培训配置提供了预测工具。该论文的开发涉及广泛的分析，以量化差异隐私与非私有方法相比如何改变模型训练的动态。通过得出这些法律，作者为设计有效的私人模型提供了基础，使研究人员能够在没有详尽的实验的情况下预测性能。在这些扩展定律的见解的指导下，该团队以基于Gemma 2 Architecture的1亿参数模型构建了Vaultgemma，在差异隐私约束下完全从头开始训练。现在，该模型的权重已在拥抱面和Kaggle等平台上公开可用，并附有一份详细的技术报告，该报告解释了培训过程，超参数和评估结果。该版本标志着迄今为止最大的开放模型，使全世界的开发人员和研究人员能够访问和建立生产质量的差异私人语言模型。 Gemma系列本身强调了人工智能开发中的责任和安全性，这与从一开始就纳入隐私保护的目标良好。研究中的实验方法着重于量化差异隐私框架内不同模型大小，批量大小和训练迭代的影响。为了管理大量可能的组合，作者做出了简化的假设，以他们对噪声比率的分析为中心。该比率测量了隐私诱导的噪声的相对尺度与随机梯度下降中使用的批处理大小。该假设之所以存在，是因为添加了隐私的故意噪声在数据采样中的任何固有随机性上都占主导地位，从而使模型的学习有效性主要由该单一指标确定。通过这种镜头，该方法可以系统地评估这些参数中的调整如何影响整体性能。全面的实验评估了各种模型大小和噪声比率的模型性能，从而生成经验数据，这些数据与计算预算和数据预算等变量之间的确定性关系结合在一起，支持有针对性的查询。例如，缩放定律可以确定最佳的培训设置，以最大程度地减少固定的计算，隐私和数据预算的损失。预测损失是使用模型大小，迭代次数和噪声批次比进行建模的，这简化了预算之间复杂相互作用的导航。这种结构为从业者提供了一个明确的途径，可以在私人模型培训期间有效地平衡资源。从隐私会计的角度来看，计算预算，隐私预算和数据预算之间的动态揭示了固定模型大小和迭代计数的关键交互。增加了由参数ε表示的隐私预算，可以降低噪声水平，但如果不与计算或数据预算的扩展配对，则会减少回报。具体而言，如果没有相应的浮点操作（拖船）或处理的代币的相应增加，噪声批次比仅略有改善，从而限制了实用程序的增长。这种协同作用强调了对协调缩放的需求：仅增强隐私性不会充分降低有效噪声，除非得到更多的计算资源或其他培训数据的支持。研究中的可视化说明了最佳配置如何随着预算的变化而变化。随着隐私和计算约束的变化，首选分配在较大的型号大小，扩展的批量大小或其他迭代之间移动。例如，在更严格的隐私预算下，优先考虑较大批次通常比扩展模型大小更有效，因为它直接减轻了噪声影响。这些图详细介绍了各种预算组合的最低可实现损失，以及迭代，批处理大小和模型尺寸等超级参数的分解。这种粒度不仅有助于确定最佳的设置，而且有助于提供可比实用程序的可行替代方案，从而在资源约束环境中提供灵活性。比例定律的核心见解是建议与非私人场景相比，培训具有较大批量尺寸的较小型号的较小型号。这种方法利用了超大批量在稳定差异私有随机梯度下降（DP-SGD）中的重要性，这是该域中常见的优化方法。洞察力在不同的设置中广泛适用，尽管精确的Optima根据特定的隐私和数据预算进行了调整。理解这些权衡可确保有效利用计算和隐私分配，从而防止浪费配置。该分析还突出了选择的灵活性，在适当的迭代和批处理调整时，多个模型尺寸可以实现相似的损失。为了构建Vaultgemma，该团队应用了缩放定律来计算源自Gemma 2的10亿亿亿亿亿亿亿亿亿卢比所需的总拖船。然后，他们在批处理大小，迭代和序列长度上分布了这些拖放，以最大程度地限制效用限制。该分配过程涉及使用预测方程式测试各种分布的迭代模拟，以确保最终设置与预计损失最低的损失保持一致。最终的配置平衡了通过大批量缓解噪声的需求，并在遵守目标参数计数的同时，可以有效地收敛。将扩展法律研究桥接到实际培训中的一个值得注意的挑战是处理Poisson采样，这是DP-SGD的关键要素，可通过随机将数据选择来确保可靠的隐私性。最初，该团队将数据分批批处理加载，但是由于较高的有效噪声，该方法提供了次优的隐私保护。切换到泊松采样改善了保证，但引入了可变性：批次的大小变化，数据处理需要随机顺序。为了解决这些问题，他们采用了有关可伸缩DP-SGD的最新工作的技术，该技术通过填充较短或修剪较长的技术来处理固定尺寸批次的数据。这种适应保留了泊松采样的隐私益处，而不会破坏培训管道的效率。对金库的训练证实了缩放定律的准确性，最终的训练损失与方程式的预测紧密相吻合。该验证证明了私人模型开发中预测结果的框架的可靠性，为将来的努力提供了可靠的指南。该过程涉及监视整个训练中的损失曲线，以确保稳定性，根据预定义预算中的需要调整超参数，并验证噪声批次比率仍然是最佳的。理论与实践之间的这种紧密对应加强了法律在实际应用中的效用。在绩效评估中，具有差异隐私的Vaultgemma 1B达到了与非私人gemma3 1b和GPT-2 1.5B模型相当的实用程序级别。这些比较量化了隐私培训的资源需求，表明当前的方法与大约五年前的非私有体系结构相当。评估包括在持有数据上的困惑指标，其中跳马舞的分数反映了尽管噪声增加了有效学习，从而突出了通过优化的缩放缩放缩小实用程序差距的进展。对标准基准测试的下游评估进一步验证了跳马的功能。在Hellaswag上，该模型以与其非私有的对应物相匹配的级别执行，显示出强烈的常识性推断。 Boolq结果表明对布尔查询的可靠问题回答，而PIQA显示了在物理相互作用预测中的能力。 SocialiQA评估揭示了对社会规范的扎实理解，Triviaqa确认了对事实召回的知识保留，ARC-C处理了复杂的推理挑战，并且ARC-E有效地解决了简单的科学问题。在这些比较中，包括GPT-2 1.5B，强调了Vaultgemma的基准得分与较旧的非私有模型相一致的类似规模的模型，这说明了私人培训进步的状态。 VaultGemma提供了ε≤2.0和δ≤1.1×10⁻⁻⁰的正式序列差差异保证，用于从异质数据源中绘制的1024个令牌的序列。训练混合物反映了Gemma 2的混合物，其中包括通过将长序列分成多个序列并将短序列包装在一起的各个长度的文档。该序列级单元适合数据格式，尽管当数据直接与个人联系时，用户级隐私将是可取的。实际上，此保证可以确保模型对查询的响应在统计学上仍然无法区分，无论是否包括在训练中，是否包括特定序列，有效地阻止该模型在单个序列中学习任何孤立的事实。但是，仍然可以学习跨多个序列出现的事实，从而允许在不损害个人隐私的情况下获取一般知识。通过补充理论保证，经验测试通过提示培训文档中的50个toge前缀并检查后续50个令牌的复制，从而评估了记忆风险。该模型没有表现出可检测的记忆，产生了与原始后缀不符的无关连续性。该结果验证了差异隐私在抑制逐字记忆中的实际有效性，即使是潜在敏感的训练摘录也是如此。测试协议涉及从各种数据源选择各种前缀以涵盖广泛的样本，从而确保对潜在漏洞的全面覆盖。该项目的致谢扩展到了Gemma和Google隐私团队，特别感谢Peter Kairouz，Brendan McMahan和Dan Ramage对公告的反馈。 Mark Simborg和Kimberly Schwede协助了可视化，而更广泛的Google团队支持算法设计，基础架构和生产维护。 Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi，Thomas Mesnard，Andreas Terzis，Tris Warkentin，Da Yu和Chiyuan Zhang。
