IT 之家 9 月 2 日消息，据 DigiTimes 今天报道，美光正在研究高耐久性 NAND 闪存模块，该公司计划将其部署在距离 GPU 更近的位置，而不是像传统存储方案那样，通过多个协议连接到距 GPU 较远的存储池。
这种方案可以让 GPU 直接访问数百 GB 的 NAND 存储池，它可以直接放置在 GPU 封装内部或 PCB，工作方式类似 HBM、GDDR7 等方案。与传统 TLC 或 QLC NAND 相比，这种 NAND 芯片的存储密度更低，重点在于提升 I/O 速度、带宽。
该存储层位于显存和普通存储之间，可充当高速缓冲层，因此特别适合运行更大规模的 AI 大语言模型。该方案落地后，LLM 推理将不再受到显存容量限制。
