就在3月5日这天，美光科技这家公司放了个大招，推出了一款大容量的LPDRAM，也就是256GB的SOCAMM2。他们宣称这给AI数据中心带来了革命性的变化，尤其是在低功耗内存这块，他们可是坐稳了头把交椅。这种新的SOCAMM2模块是基于业界第一款单晶粒32Gb的LPDDR5X设计的，能给AI训练、推理还有代理式AI等工作提供强大的内存支持。这个模块的出现，也说明了现在的AI系统越来越看重内存的容量、带宽效率和能效了。美光这次还跟NVIDIA联手，专门设计了一些高性能内存解决方案，来应对先进AI基础设施的需求。美光那边的高层Raj Narasimhan就说：“美光的256GB SOCAMM2就是给AI和HPC提供一个更低功耗的CPU附加内存解决方案。”他还提到这次发布让他们在技术和封装上都有了新突破。 Raj还提到他们的256GB SOCAMM2是专门为了优化容量、能效和工作负载性能而设计的。它能给各种AI和通用计算工作负载提供更高的内存容量、更低的功耗以及更快的性能。这玩意儿相比之前192GB的版本增加了三分之一的容量，这就意味着每个8通道的CPU现在可以用上2TB的LPDRAM了。 这种模块不仅容量大，而且功耗低、尺寸小。跟同容量的RDIMM比起来，SOCAMM2只需要其三分之一的功耗，尺寸也缩小到了三分之一。这样就可以把机架密度提上去，同时降低总体拥有成本。 这个SOCAMM2在推理和核心计算方面的性能提升也很明显。在统一内存架构里，用它来卸载KV缓存的时候，可以让长上下文和实时LLM推理的首个token生成时间快2.3倍。 另外这个模块化的设计也很灵活维护和扩展容易随着AI和核心计算对内存需求的增加它还能再扩容。 英伟达那边的Ian Finder也表示他们的产品需要各个层面都进行极致优化来应对AI推理工作负载的性能和能效需求美光通过这个256GB SOCAMM2用更低功耗实现了超大内存容量和带宽的突破给下一代AI CPU提供了关键支持。 美光在JEDEC SOCAMM2规范制定中一直是领头的人还跟系统设计人员深度合作推动数据中心平台在能效和性能上的全行业提升现在已经开始给客户送样256GB SOCAMM2产品还有8GB到64GB组件以及48GB到256GB模块这些东西组成了业界最全面的数据中心LPDRAM产品组合。