非常规人工智能推出了一种实验性图像生成模型,该模型用物理振荡器的模拟网络取代了传统的计算量大的计算。该初创公司表示,其底层方法最终可能比当前人工智能系统节省 1,000 倍的能源。
该模型名为 Un-0,是该公司的第一个概念验证。 Unconventional AI 由麻省理工学院副教授 Michael Carbin、斯坦福大学助理教授 Sara Achour、前谷歌工程师 MeeLan Lee 和前 Databricks AI 主管 Naveen Rao 等研究人员创立。该团队于 6 月 25 日发布了技术细节,并通过 GitHub 发布了该模型。
大多数计算机通过在开和关状态之间快速切换数十亿个晶体管来执行计算。基于扩散模型的图像生成器从视觉噪声开始,反复计算必须删除的内容才能生成所需的图像,通常运行 20 到 50 个细化步骤。
Un-0 相反表示通过振荡器(产生重复波的物理系统)的信息。连接的振荡器自然会相互影响,直到它们的节奏开始对齐,这是Kuramoto模型描述的过程。
为了生成图像,系统将不同的振荡器相位模式分配给鞋子或火车等类别。配置有所需模式的较小群体充当提示,并逐渐将更广泛的随机定位振荡器网络拉向相同的排列。
然后系统将振荡器的最终相位记录为数字网格。单独的解码器将该网格转换为像素值以生成图像。
非常规人工智能认为,物理振荡器硬件消耗的电力可以少得多,因为电流将连续流过闭环,而不是被迫通过数万亿次晶体管开关操作。现有的 Un-0 模型尚未实现这些节省,因为它模拟传统硬件上的振荡器。该公司最终计划开发专用的基于振荡器的芯片。
研究人员使用 CIFAR-10 和 ImageNet 64×64 图像数据集测试了 Un-0。在 CIFAR-10 上,其 Fréchet 初始距离得分从 1,024 个振荡器的 11.01 提高到 4,096 个振荡器的 8.76。较低的分数表明生成的图像更接近参考数据。
在 ImageNet 64×64 上,分数从 6,656 个振荡器的 8.41 提高到 16,384 个振荡器的 6.74。研究人员表示,结果与早期图像生成器(例如 Google 的 BigGAN 和 OpenAI 的 iDDPM)相当,不过他们警告说,这些数字应被视为参考点,而不是直接等效的测量结果。
该团队承认,当前的图像生成器仍然可以产生更好的整体质量,同时更有效地使用其参数。非常规人工智能发布了模型权重、训练代码和消融脚本,以便其他研究人员可以测试该方法并运行自己的模拟。
<小时/>





