芯片制造商 Nvidia 和 Groq 进入 上周达成的一项非独家技术许可协议，旨在加速并降低使用 Groq 语言处理单元芯片运行预训练大型语言模型的成本。 Groq 的语言处理单元芯片在人工智能操作的推理阶段支持实时聊天机器人查询，这与模型训练过程不同。这些芯片使人工智能模型能够在聊天机器人等应用中快速生成响应。英伟达的芯片目前处理整个行业的大部分人工智能训练阶段。推理是 Nvidia 无法完全控制的瓶颈。 Groq 的芯片专门针对这个推理阶段，其中人工智能模型应用从训练中获得的知识来根据新数据生成结果。 Groq 设计了用于推理的芯片，将人工智能模型从实验室实验转移到实际部署。当模型处理看不见的输入以在现实场景中提供输出时，推理发生在训练之后。投资者将资金投向推理初创公司，将人工智能研究与大规模日常应用联系起来。 Axios 记者 Chris Metinko 今年早些时候报道了这一投资趋势。增强的推理能力使公司能够更大规模地开展更多企业人工智能项目。这些举措增加了对训练过程的需求，进而提高了对 Nvidia 训练芯片的需求。人工智能模型通过两个阶段发挥作用：训练和推理。在训练过程中，模型处理大量数据集，包括文本、图像和视频，以构建知识的内部表示。在推理阶段，模型识别以前未见过的数据中的模式，并根据这些模式生成对特定提示的响应。这个过程类似于学生学习考试材料，然后在考试中应用这些知识。格罗克 起源 2016 年，在乔纳森·罗斯 (Jonathan Ross) 的领导下创立。该公司与埃隆·马斯克 (Elon Musk) 的 xAI 聊天机器人 Grok 没有任何关系。 Jonathan Ross、Groq 总裁 Sunny Madra 以及其他选定的员工计划加入 Nvidia，如 格罗克的网站。 Groq 打算在这些过渡之后保持独立运营。该协议构成“非排他性推理技术许可协议”。这种安排类似于收购或收购。据史黛西·拉斯贡 (Stacy Rasgon) 在给客户的一份说明中描述，这种结构是为了维持竞争的虚构性。 美国全国广播公司财经频道。公司采用此类交易结构来应对反垄断审查，同时确保专业人工智能人员的安全。
- 微软的例子： 聘请了 DeepMind 联合创始人 Mustafa Suleyman。
- 谷歌示例： 重新聘请 Noam Shazeer，他是 GPT 模型核心 Transformer 架构的共同发明者。
现在转到 Nvidia 的 Jonathan Ross 之前开发了 Google 的张量处理单元（TPU）。部署成本决定了公司利用通过先前培训工作开发的模型的程度。
