美光探索近GPU NAND闪存技术

9月3日消息，据TechPowerUp报道，美光公司近日正在开展一项新型高耐久性NAND闪存模块技术研究，计划改变传统存储部署模式，将闪存模块部署在距离GPU更近的位置，摆脱以往经由多重协议接入远端存储池的架构局限，为人工智能大模型运行开辟新思路。

这项被称作“近GPU NAND”的技术，力求在存储密度与耐久性能之间实现平衡优化，主要面向非极致低延迟、超高带宽类业务场景。按照技术构想，该方案能够支持GPU直接访问数百GB容量的NAND存储资源，存储芯片可布置于GPU封装内部或是印刷电路板之上，工作逻辑与HBM、GDDR7等高速存储技术有异曲同工之处。

对比传统TLC、QLC NAND闪存产品，该新型NAND芯片适当降低存储密度，将研发重心放在提升输入输出速率与传输带宽上。作为介于显存与普通存储之间的全新高速缓冲层级，该技术对于运行超大规模人工智能大语言模型具备突出价值。若这项技术实现落地应用，将有望破解大语言模型推理过程中受限于显存容量的现实瓶颈，为大模型进一步扩容、高效运行提供硬件层面的新路径。