OpenAI 展示了其首款定制推理处理器,名为 Jalapeo,是与 Broadcom 合作开发的。该处理器专门满足 OpenAI 推理系统的独特要求,该公司表示自己的 AI 模型为其开发做出了贡献。
该芯片仍在接受测试,但早期结果表明,相对于当前领先的替代品,每瓦性能有了显着提高。 OpenAI 与 Broadcom 的合作于 10 月正式宣布,定制芯片的创建被视为减少对 Nvidia 图形处理单元依赖的策略。
谷歌和亚马逊已经创建了类似的定制芯片,称为“人工智能加速器”,以加速机器学习任务。在内部播客中,OpenAI 总裁 Greg Brockman 在宣布与博通合作后讨论了该公司的芯片开发战略。 “我们对工作量有深入的了解,”布罗克曼说。 “我们确实一直在寻找服务不足的特定工作负载,[并询问]我们如何构建能够加速实现的东西?”
Jalapeo 专为推理任务量身定制,其中涉及基于用户命令的预构建人工智能模型的应用。据 OpenAI 称,该芯片在管理实时编码模型时运营成本较低。然而,诸如预训练之类的性能密集型过程可能仍然需要 Nvidia 硬件。即使推理成本小幅降低也能显着提高 OpenAI 的盈利能力。
优化推理系统对于人工智能的未来经济至关重要,该公司正在将其能力扩展到整个技术堆栈。 OpenAI 正在同时开发 Codex 等产品和支持它们的模型,并建立用于模型部署的数据中心。转向定制芯片预计将进一步提高运营效率。
OpenAI 详细说明,其战略涵盖基础设施组件的设计,包括芯片架构、内核、内存系统、网络、调度和部署系统。这种全面的方法可以跨所有技术层进行优化,旨在为用户提供更快、更可靠且更具成本效益的模型。
<小时/>




