您可能已经注意到，有时，即使是最先进的人工智能聊天机器人也需要一些时间来思考。这种轻微的延迟是它们工作方式的根本性减速。现在，在一项名为“FS-DFM：通过少步扩散语言模型快速准确地生成长文本”，来自 Apple 和俄亥俄州立大学的研究人员团队提出了一种打破这一障碍的新方法。最重要的发现是他们的模型 FS-DFM，该模型可以生成高达 快 128 倍 比同类型号。这很重要，因为它可以大大减少人工智能的延迟和计算成本，为真正实时、响应迅速且高效的语言工具铺平道路。
自回归模型的缓慢进展
那么，当前人工智能的阻碍是什么？大多数大型语言模型，例如 ChatGPT， 自回归。让我们来解释一下行话。可以把它想象成一个作家一次一个词地造一个句子。要选择下一个单词，他们必须重新阅读到目前为止所写的整个句子。这是一个非常细致和准确的过程，但它本质上是连续的，因此很慢。在写完前九个字之前，你不能写第十个字。另一种方法是使用 扩散模型。这些工作更像是雕塑家从一块大理石开始并对其进行精炼。他们以混乱、无意义的状态一次性生成所有单词，然后通过数百甚至数千个迭代步骤对其进行改进，直到出现连贯的文本。这允许并行工作，但大量的细化步骤使其同样缓慢。
采取大步跨越而不是小步前进
Apple 的新模型 FS-DFM 旨在实现两全其美。这是一个扩散模型，但它被教授了一个聪明的技巧。它不是采取一千个微小而谨慎的步骤来从随机混乱的单词到完成的文本，而是学习如何通过几次巨大的飞跃来实现这一目标。研究人员训练模型来了解漫长的迭代过程的最终目的地，然后直接跳转到那里。结果是惊人的。他们的模型可以生成与标准扩散模型相同质量的文本，该模型采用 1,024 步 在刚刚 8步。这就是海量的地方 128 倍加速 来自。当与其他强大的扩散模型（如 LLaDA-8B 和 Dream-7B）竞争并被迫进入低步数场景时，竞争会步履蹒跚，经常产生重复的乱码，而 FS-DFM 则生成连贯的高质量文本。虽然这仍然是一篇研究论文，但其意义重大。效率提高一百倍以上的模型不仅仅是一个微小的改进；它是一个模型。这是一个潜在的游戏规则改变者。这可能会导致人工智能助手能够立即做出反应，创造性的写作工具可以在眨眼间生成长篇文章，并大幅减少与运行这些大型模型相关的巨大能源和计算成本。研究人员计划发布他们的代码和模型检查点，邀请更广泛的社区以他们的工作为基础。下次当你等待人工智能完成输入其响应时，要知道研究人员正在努力教它冲刺而不是爬行。
