Meta 宣布推出 Llama 3.2 产品，这是一套前所未有的免费开源人工智能模型集合，旨在灵活高效地塑造机器智能的未来。
由于企业正在寻找可以在最常见的硬件或流行的硬件上运行的末日 AI 解决方案，以便为大型企业和独立企业开发解决方案，因此 Llama 3.2 提供了新的模型。
Llama 3.2 专注于边缘和移动设备
Meta 非常明显地强调了边缘性和移动性。
至于该版本的新功能，开发人员添加了小型和中型视野LLM：11B和90B，因此还引入了纯文本替代品，1B和3B。
特别的是，这里介绍的新模型适合边缘设备的操作，从而使人工智能技术能够被更多客户端所使用。轻量级纯文本模型，尤其是那些没有任何视觉数据的模型，由于计算能力较低，专为摘要和指令遵循等较简单的任务而设计。
由于移动设备上的中央数据处理是在本地执行的，因此没有任何数据上传到云端，正如 Meta 所说，
“在移动设备上本地运行可确保数据保留在设备上，从而避免基于云的处理，从而增强用户隐私。”
此功能对于处理敏感数据的应用程序尤其有用，因为它使应用程序能够执行重要任务，同时保持数据的机密性。例如，用户可以在总结个人信息的同时回复个人信息，或者在不将信息转发到外部服务器的情况下获取会议中的待办事项列表。
模型架构的进步
Llama 3.2 中最显著的变化是各种架构改进。新模型采用基于适配器的架构，无需修改即可将图像编码器与预训练的文本模型相结合。这种集成提高了文本和图像领域的推理能力，大大扩展了这些模型的应用范围。
最终的预训练模型经过了严格的微调练习，需要利用大量嘈杂的图像-文本对数据。
Llama 3.2 11B 和 90B 支持一系列多模态视觉任务。这些功能可实现多种场景，例如为图像添加字幕以提高可访问性、根据数据可视化提供自然语言洞察等。 pic.twitter.com/8kwTopytaf
— Meta 的 AI（@AIatMeta） 2024 年 9 月 25 日
标记上下文长度有一个重要的增加，它增加到了一个非常令人印象深刻的 128千 适用于轻量级 1B 和 3B 型号。它有利于更广泛的数据传输，这对于长篇文档和精细思考尤其有价值。
这种适应如此大输入规模的能力使得 Llama 3.2 在动态 AI 市场中相对于竞争对手占据优势，而目前主要由 OpenAI 的 GPT 模型。
绩效指标如何？
Llama 3.2 的模型表现出色，进一步巩固了其在市场上的竞争优势。1B 模型在 MMLU 基准测试中取得了 49.3 分，而 3B 模型则取得了 63.4 分。在视觉方面，11B 和 90B 模型在视觉推理任务中分别以 50.7 分和 60.3 分的成绩展示了其能力。
通过对大量人工评估和基准进行性能评估，结果表明 Llama 3.2 视觉模型在图像识别 + 一系列视觉理解任务上与领先的封闭模型具有竞争力。 pic.twitter.com/QtOzExBcrd
— Meta 的 AI（@AIatMeta） 2024 年 9 月 25 日
这些指标表明，Llama 3.2 型号不仅满足了其他公司类似产品的性能要求，而且往往超越了这些产品的性能要求，例如 克劳德 3 俳句 和 GPT4o-mini。
UnslothAI 技术的集成也提高了这些模型的效率，使微调和推理速度提高了一倍，同时将 VRAM 使用率降低了 70%。对于希望实现实时 AI 解决方案而不受硬件限制的开发人员来说，这一增强功能至关重要。
生态系统协作与支持
决定 Llama 3.2 是否准备好进入市场的关键因素之一是其完善的生态系统。与高通、联发科和 AWS 等其他移动行业领导者的合作使开发人员能够在不同的设置、云环境和本地设备上实现这些模型。
这 骆驼栈 用于设备上安装的 Llama Stack 和用于单节点安装的 Llama Stack 等发行版提供了开发人员可以利用的解决方案，并将这些模型构建到他们的项目中，而不会增加复杂性。
今日发售的轻量级 Llama 3.2 型号支持 @手臂， @联发科 & @Qualcomm 使开发者社区能够从第一天开始构建有影响力的移动应用程序。 pic.twitter.com/DhhNcUviW7
— Meta 的 AI（@AIatMeta） 2024 年 9 月 25 日
如何使用 Meta Llama 3.2？
最新版本的开源 AI 模型 Llama 3.2 现已在 Meta Llama 网站，提供增强的跨不同平台定制、微调和部署功能。
开发人员可以从四种模型尺寸中进行选择：1B、3B、11B 和 90B，或者继续使用较早的 骆驼 3.1。
Meta 不仅将这些模型发布到外界，他们还热衷于确保开发人员拥有有效利用 Llama 3.2 所需的一切。这一承诺包括分享有价值的工具和资源，以帮助开发人员负责任地构建。通过不断更新他们的最佳实践并与开源社区互动，Meta 希望在促进创新的同时激发创新 道德人工智能 用法。
“我们很高兴能继续与我们的合作伙伴和开源社区进行对话，并且一如既往，我们迫不及待地想看到社区使用 Llama 3.2 和 Llama Stack 构建出什么。”
元陈述。
这种协作方法不仅增强了 Llama 3.2 的功能，还促进了生态系统的蓬勃发展。无论是轻量级边缘解决方案还是更复杂的多模式任务，Meta 希望新模型能够提供满足不同用户需求所需的灵活性。
图片来源： 元
