192GB SOCAMM2搭载LPDDR5X，巩固美光在AI基础设施高能效解决方案的领先地位
在当今时代，人工智能（AI）实现了前所未有的创新和发展，整个数据中心生态系统正在向更节能的基础设施转型，以支持可持续增长。随着内存在AI系统中逐渐发挥越来越重要的作用，低功耗内存解决方案已成为这一转型的核心。美光科技股份有限公司（纳斯达克股票代码：MU）近日宣布其192GB SOCAMM2（small outline compression attached memory modules，小型压缩附加内存模块）已正式送样，以积极拓展低功耗内存在AI数据中心的广泛应用。2025年3月，美光发布了业界首款LPDRAM SOCAMM，而新一代SOCAMM2则在此基础上实现了功能的进一步拓展，在相同的规格尺寸中实现50%的容量提升，增加的容量可以将实时推理工作负载中首个token生成时间（TTFT）显著缩短80%以上1。192GB SOCAMM2采用美光领先的1-gamma DRAM制程技术，能效提高20%以上2，有助于实现大型数据中心集群的电源设计优化。这一能效提升在全机架AI安装中尤为显著，可配置超过40TB的CPU附加低功耗DRAM主存储3。SOCAMM2的模块化设计提升了可维护性，并为未来的容量扩展奠定了基础。
基于与NVIDIA的五年合作，美光率先将低功耗服务器内存引入数据中心使用。SOCAMM2为AI系统的主存储带来了LPDDR5X超低功耗和高带宽的内在优势。SOCAMM2的设计旨在满足大规模AI平台不断扩展的需求，提供AI工作负载所需的高数据吞吐量，同时实现新的能效水平，并为AI训练和推理系统设定新标准。这些优势的结合将使SOCAMM2成为未来几年业界领先AI平台的关键内存解决方案。
美光资深副总裁暨云端内存事业部总经理Raj Narasimhan表示：“随着AI工作负载变得更加复杂而严苛，数据中心服务器必须提升效率，为每瓦特的功率提供更多tokens。凭借在低功耗DRAM领域公认的领先地位，美光能确保我们的SOCAMM2模块提供所需的数据吞吐量、能效、容量和数据中心级别的品质，这些对于驱动下一代AI数据中心服务器至关重要。”
通过专门的设计功能和增强测试，美光SOCAMM2产品从最初为手机设计的低功耗DRAM升级为数据中心级解决方案。多年来，美光在高质量数据中心DDR内存方面的丰富经验，使SOCAMM2具备满足数据中心高标准应用所需的质量与可靠性。
与同等能效的RDIMM相比，SOCAMM2模块的能效提高了三分之二以上4，同时将其性能封装到三分之一大小的模块中5，不仅优化了数据中心占地面积，还最大限度地提高了容量和带宽。SOCAMM的模块化设计和创新的堆叠技术提高了可维护性，并有助于液冷服务器的设计。
美光一直是JEDEC SOCAMM2规范制定的积极参与者，并与行业合作伙伴密切合作，共同推动标准演进，加快AI数据中心的低功耗应用，以助力整个行业的能效提升。目前，SOCAMM2样品已送样客户，单一模组容量高达192GB，速率达9.6 Gbps，后续量产作业将配合客户的产品推出日程规划。
1经美光内部测试验证的性能提升：使用LMCache GH200 NVL2平台（288GB HBM3E+1TB LPDDR5x）上的Llama 3 70B模型进行推断，OSL=128。 2 与美光的上一代LPDDR5X相比。 3 内存容量基于NVL144机架系统，每个系统可为每36个CPU集成6个 192GB的SOCAMM2模组。 4 与两个128GB、128位总线宽度的DDR5 RDIMM模组相比，基于一个128GB、128位总线宽度的SOCAMM2模组的功耗（瓦特）计算。 5 计算将SOCAMM2的面积（14 x 90mm）与标准服务器RDIMM进行对比。
文章来源：美光科技