元有 正式宣布 迄今为止，它最先进的人工智能模型：Llama 4家族。这一新一代包括Llama 4 Scout和Llama 4 Maverick，这是Meta开放权重模型中的第一个提供本地多模式和前所未有的上下文长度支持。这些模型还标志着Meta的初始企业使用了Experts（MOE）体系结构的混合物。 Meta还提供了目前正在培训的高度智能LLM Llama 4 Behemoth的预览，旨在作为未来模型的老师。
发行后的一年后，对美洲驼生态系统的重大更新到达 2024年的美洲驼3，强调了梅塔（Meta）在AI领域开放创新的承诺。根据Meta的说法，公开开放领先的模型对于促进个性化体验的发展至关重要。
侦察兵和小牛：具有创新架构的多模式模型
Llama 4 Scout和Llama 4 Maverick是本系列的最初有效模型。 Llama 4 Scout在16位专家中拥有170亿个活跃参数，而Llama 4 Maverick还具有170亿个活跃参数，但利用其Moe Architecture中的128位专家量更大。 Meta强调了这种设计的效率，并指出Llama 4 Scout可以适合单个H100 GPU（具有INT4量化），而Llama 4 Maverick则可以在单个H100主机上进行，从而促进更轻松的部署。
采用专家（MOE）架构的混合物是一个关键进步。在MOE模型中，每个令牌仅激活总参数的一小部分，从而导致更高的计算训练和推断，最终为给定的计算预算提供了更高的质量。例如，Llama 4 Maverick的总参数为4000亿，但在使用过程中只有170亿个活跃。
Llama 4 Scout和Llama 4 Maverick都是本地的多模式，并在统一模型骨架中融合了早期融合到无缝处理文本和视觉令牌。这允许对大量未标记的文本，图像和视频数据进行联合预培训。 Meta还增强了Llama 4中的视觉编码器，在MetaClip上建立，但与冷冻的Llama模型一起分别训练它，以更好地适应。
Llama 4庞然大物：具有有前途基准的老师模型
Meta瞥见了Llama 4 Behemoth，这是一种以教师为中心的模型，具有惊人的2880亿个活跃参数，在16位专家中总参数近2万亿个参数。 Meta声称庞然大物的表现优于GPT-4.5，Claude Sonnet 3.7和 双子座2.0 Pro 在以茎为中心的基准上，例如Math-500和GPQA钻石。虽然Llama 4 Behemoth仍在训练中，但尚未获得，但它在“编码” Llama 4 Maverick模型中发挥了至关重要的作用，从而导致了重大质量的改进。
上下文长度和多语言功能
Llama 4模型的出色功能是它们的上下文长度显着增加。 Llama 4 Scout以1000万个令牌上下文窗口领导该行业，这比Llama 3的128K急剧增加。此扩展上下文可以实现高级功能，例如多文件摘要和大型代码库的推理。这两种模型均在超过300万亿代币的大量数据集中进行了预训练，这是Llama 3的两倍以上，并涵盖了200多种语言，其中100多种语言具有超过10亿个令牌。
集成到元应用程序和开发人员可用性中
反映Meta致力于开放创新的承诺，Llama 4 Scout和Llama 4 Maverick今天可以在Llama.com上下载和拥抱脸。 Meta还宣布，这些模型现在正在为WhatsApp，Messenger，Instagram Direct和Meta.ai网站等流行应用程序中的Meta AI提供动力。这种集成使用户可以直接体验新的Llama 4型号的功能。
Meta强调了其致力于开发有用和安全的AI模型的承诺。 Llama 4融合了其AI保护开发人员使用指南中概述的最佳实践，包括在各个开发阶段进行缓解。他们还强调了诸如Llama Guard之类的开源保障措施，并促使后卫帮助开发人员识别并防止有害投入和产出。
在解决LLM中众所周知的偏见问题时，Meta表示在Llama 4中取得了重大改进。该模型拒绝在辩论的政治和社会话题上提示更少的提示，并在不同的观点中表现出更加平衡的反应，显示出与该领域的Grok相当的表现。
