长江存储展示AI SSD,16GB内存成功运行120B大模型

存储器 2026-08-14 16:24

长江存储近日重磅展示其AI SSD原型机,AI SSD可以原生支持KV缓存下放、ZNS分区命名空间、CXL/GPU Direct直通,尤其是KV缓存下放应用最为典型。实测数据显示,在仅配备16GB内存与8GB显存的条件下,该原型机成功运行120B大模型,首字延迟(TTFT)由4.05秒大幅降至0.49秒,且在加载Qwen-3-Next 80B模型时输出速度突破12 token/s。

简讯快报

更多