美光科技 宣布 该公司正在向客户提供 192GB SOCAMM2 内存模块样品。该新产品专为AI数据中心开发，采用LPDDR5X技术，在提高容量和性能的同时降低功耗。该模块是小型压缩附加内存模块 (SOCAMM2)，可提供 192 GB 的容量，是数据中心中该外形规格的最高容量。与上一代相比，在相同的物理占地面积内，容量增加了 50%。高密度设计对于空间有限的人工智能服务器至关重要，可以让每个系统拥有更多内存来支持大型人工智能模型。通过集中容量，该模块直接满足现代人工智能工作负载不断升级的内存需求，这些工作负载依赖于庞大的数据集和广泛的参数计数才能有效运行。 SOCAMM2 的核心采用 LPDDR5X DRAM，这项技术最初来自移动领域，现已适用于企业用途。该内存采用美光最先进的制造节点 1-gamma DRAM 工艺生产。与前几代产品相比，该工艺的能效提高了 20% 以上。 LPDDR5X 的低功耗架构与先进制造工艺相结合，打造出专门为降低 AI 计算的大量能源需求而设计的内存解决方案，将低功耗 DRAM 转变为具有增强稳健性和可扩展性的数据中心级组件。性能指标包括高达 9.6 Gbps 的数据传输速度，提供防止 AI 系统出现数据瓶颈所需的吞吐量。其主要特点是节能，与同等 RDIMM（注册双列直插内存模块）部署相比，该模块可将功耗降低三分之二以上。由于 RDIMM 是服务器标准，因此这种减少可以节省大量运营成本。较低的功耗降低了电力成本并减轻了数据中心冷却系统的压力，这是总拥有成本和基础设施可持续性的一个主要因素。内存容量的增加直接提升了AI应用性能，尤其是实时推理任务。一个模块上 192GB 的可用性可以将“首次令牌时间”(TTFT) 缩短 80% 以上。 TTFT 是生成式 AI 中的一个关键延迟指标，用于测量模型开始生成响应之前的延迟。对于人工智能助手等交互式服务来说，缩短延迟至关重要。初始延迟的显着减少使人工智能模型能够更快地提供输出，从而增强了这些延迟敏感应用程序的响应能力和用户体验。 SOCAMM2 标准本质上是模块化的，这种设计为管理大型计算环境提供了实际优势。这种模块化增强了服务器的可维护性，从而可以更轻松、更快速地更换或升级各个内存模块，同时最大限度地减少系统停机时间。在大型数据中心集群中，这种简化的维护对于保持高可用性至关重要。该设计还为未来的容量扩展创造了清晰的路径，使运营商能够扩展其内存资源，以满足下一代人工智能模型不断增长的需求，从而随着时间的推移保护硬件投资。低功耗服务器内存的开发是与 英伟达，历时五年进行。这一战略合作伙伴关系将 SOCAMM2 定位为下一代 AI 平台的关键解决方案，并且此次合作提出了一种针对 Nvidia 生态系统内集成进行优化的设计。该产品专门针对人工智能数据中心市场，由于生成式人工智能和海量上下文模型的兴起，该市场的内存需求激增。这些先进的人工智能系统需要大量、快速且高效的内存才能有效运行，而该模块的设计正是为了满足这一需求。美光科技已开始向客户提供 192GB 模块样品，允许合作伙伴在自己的系统中测试和验证该技术。大批量生产计划与客户发布时间表保持一致，以确保新服务器部署的市场可用性。该模块相当高的能源效率支持更广泛的数据中心行业向更可持续、功率优化的基础设施的转变。这一重点有助于运营商管理与人工智能工作负载及其相关硬件足迹在全球快速扩张相关的财务和环境成本。
