Databricks 推出了 DBRX,这是一种创新的开源语言模型,有望彻底改变语言理解。 DBRX 基于先进的架构构建,在编码和解决数学问题等任务中显示出显着的进步。 超越某些模型,您认为它们是LLM市场上最好的!
但是什么让 DBRX 与众不同呢? 让我们更深入地研究它的开发过程并探索它提供的令人兴奋的功能。
DBRX是什么?
DBRX 是 Databricks 开发的开源大语言模型 (LLM),旨在在快速发展的人工智能领域提供具有竞争力的替代方案。 DBRX 建立在细粒度的专家混合 (MoE) 架构之上,在语言理解方面展现了显着的进步,特别是在编程和数学推理任务方面。 值得注意的是,它的性能优于 GPT-3.5 等一些成熟模型,并与 Gemini 1.0 Pro 等封闭模型进行合理竞争。
模型 | 数据库接收 指导 | GPT-3.5 | GPT-4 | 克劳德 3 俳句 | 克劳德第 3 首十四行诗 | 克劳德 3 作品 | 双子座1.0专业版 | 双子座1.5专业版 | 米斯特拉尔介质 | 米斯特拉尔大号 |
MT 工作台(变形校正,n=5) | 8.39±0.08 | — | — | 8.41±0.04 | 8.54±0.09 | 9.03±0.06 | 8.23±0.08 | — | 8.05±0.12 | 8.90±0.06 |
MMLU 5 发 | 73.7% | 70.0% | 86.4% | 75.2% | 79.0% | 86.8% | 71.8% | 81.9% | 75.3% | 81.2% |
HellaSwag 10 发 | 89.0% | 85.5% | 95.3% | 85.9% | 89.0% | 95.4% | 84.7% | 92.5% | 88.0% | 89.2% |
HumanEval 0 次射击 通过@1 (编程) | 70.1% 温度=0,N=1 | 48.1% | 67.0% | 75.9% | 73.0% | 84.9% | 67.7% | 71.9% | 38.4% | 45.1% |
GSM8k CoT maj@1 | 72.8%(5发) | 57.1%(5 次) | 92.0%(5发) | 88.9% | 92.3% | 95.0% | 86.5% (maj1@32) | 91.7%(11 次) | 66.7%(5 次) | 81.0%(5 次) |
威诺格兰德 5 发 | 81.8% | 81.6% | 87.5% | — | — | — | — | — | 88.0% | 86.7% |
DBRX 是在之前数月的研究和实验的基础上,经过三个月的密集开发过程而开发的。 培训是在由 3072 名学员组成的强大基础设施上进行的 英伟达 H100通过 3.2Tbps Infiniband 连接。 利用 Databricks 的工具套件,包括用于数据治理的 Unity Catalog、用于数据探索的 Lilac AI、用于数据处理的 Apache Spark 和 Databricks 笔记本,以及 MegaBlocks 和 LLM Foundry 等优化的训练库,DBRX 在数千个项目中进行了培训和微调使用 Mosaic AI 训练服务的 GPU。 使用 MLflow 记录结果,并通过 Mosaic AI 模型服务和推理表收集人工反馈以改进质量。
那么,DBRX 能做什么? 它可以做很多事情,比如回答问题、编写代码、解决数学问题和分析数据。 它还可以通过纠正语法和提出改进建议来帮助写作。 DBRX可以理解不同的语言,甚至可以分析文本中的感受。 它就像一个智能助手,可以完成很多涉及语言和数据的任务。 此外,用户还可以根据特定需求对其进行定制。 与其他流行的产品相比,DBRX 的性能可能会让您感到惊讶 法学硕士。
DBRX 可供开发人员和企业使用,在开放许可下提供基本模型和微调版本,鼓励协作探索和创新。 它强调训练和推理的效率,加上其可管理的规模,使其成为各种人工智能应用程序潜在的具有成本效益的解决方案。
如何使用DBRX
可通过 Databricks 提供的各种方式使用 DBRX:
- 基础模型 API:Databricks 优惠 基础模型 API,允许用户通过简单的界面与 DBRX 进行交互。 用户可以利用这些 API 将 DBRX 集成到他们的应用程序和工作流程中。
- AI Playground聊天界面:为了快速实验和测试,用户可以通过访问 DBRX 人工智能游乐场 聊天界面。 该界面提供了一个用户友好的环境,用于与模型交互并探索其功能。
总体而言,通过利用 Databricks 提供的工具和资源,用户可以轻松地将 DBRX 纳入其工作流程,并利用其功能来实现自然语言处理和人工智能领域的广泛应用。
欲了解更多详细信息,请点击 这里。
特色图片来源: 数据块