法国人工智能初创公司 Mistral 发布了最新的开源人工智能模型 Mixtral 8x7B,在人工智能社区引起了轰动。 该模型因在性能上可能超越 OpenAI 的 GPT-3.5 和 Meta 的 Llama 2 而受到关注。 该公司采取了独特的做法,通过社交媒体上的种子链接毫不客气地发布了最新的大型语言模型。 这一举措与人工智能发布相关的典型宣传形成鲜明对比,展示了 Mistral 独特的黑客态度。
Mixtral 8x7B:新的人工智能引擎
最近,米斯特拉尔提出了一个 A 轮融资高达 4.15 亿美元,将其估值推至20亿美元左右。 这一财务增长凸显了该公司在人工智能领域的成功和潜力。 Mixtral 8x7B 采用“专家混合”方法,集成了各种模型,每个模型专门从事不同的任务。 这种创新技术带来了令人印象深刻的性能,在各种基准测试中等于或优于 GPT-3.5 和 Llama 2。 Mistral 在线发布了该模型,随后发布了一篇官方博客文章详细介绍了其功能,并确认它可以在 Apache 2.0 许可证下用于商业用途。
占用空间小:可以在 Mac 上运行
Mixtral 8x7B 的显着特点之一是它能够在非 GPU 设备上运行,从而有可能使先进人工智能技术的使用变得民主化。 该模型在开放模型中取得了最先进的结果,在长上下文的语言生成和代码生成方面具有优势。
对于那些不太关注人工智能的人:
1)开源模型(免费,任何人都可以下载或修改)击败GPT-3.5
2)没有安全护栏
这次发布有一些好处,但监管机构、IT 安全专家等也应该注意到,魔鬼已经从瓶子里出来了。 https://t.co/nHvlNKaItw— 伊森·莫里克 (@emollick) 2023 年 12 月 11 日
AI 爱好者和专业人士很快就采用了 Mixtral 8x7B,对其性能和灵活性印象深刻。 该模型占用空间小,因此可以在没有专用 GPU 的机器上运行,包括最新的 Apple Mac 电脑。 然而,正如沃顿商学院教授伊森·莫里克(Ethan Mollick)所观察到的,它缺乏安全护栏, 提出了担忧 关于其他模型认为不安全的内容。
比 Llama 2 70B 快 6 倍
Mixtral 8x7B 因其推理速度快六倍而脱颖而出 骆驼 2 70B,得益于其稀疏模型架构和 Transformer 中的八个不同的前馈块。 它支持多语言功能、出色的代码生成和 32k 上下文窗口。 Mistral 的估值在短短六个月内飙升至超过 20 亿美元,凸显了大型专家混合模型在人工智能领域日益增长的重要性。
开源无限制
事实证明,Mixtral 8x7B 是一种开源模型,能够改变游戏规则。 它不仅优于 Meta 的 Llama 2 系列和 OpenAI 的 GPT-3.5 等一些美国竞争对手,而且还提供快速高效的性能。 该模型的开源可用性与 OpenAI 的闭源方法形成鲜明对比,符合 Mistral 对“开放、负责任和去中心化的技术方法”的承诺。
Mistral 的模型是具有开放权重的高质量稀疏专家模型混合 (SMoE),并在 Apache 2.0 下获得许可。 与 Llama 2 70B 相比,它在大多数基准测试中表现出卓越的性能,推理速度提高了六倍。 这一效率标志着 Mixtral 8x7B 在成本和性能方面是最强的开放权重模型。