美光示警:AI"内存墙"正在加剧,HBM 成关键瓶颈

存储器 网络 Andy 2026-08-24 15:18

据外媒报道,美光 HBM 设计架构研究员 Raghu Sriramaneni 近日在演讲中指出,当前 AI 系统面临一个日益严峻的结构性矛盾:

AI 计算性能:每两年约提升 3 倍

HBM 带宽增长:同期仅增长不到 2 倍

算力与内存带宽之间的增速差距正在持续扩大,"内存墙"问题不仅没有缓解,反而可能进一步加剧。

为什么内存会成为 AI 的瓶颈?

AI 加速器(如 GPU)在执行计算时,需要不断从内存中读取数据。无论处理器性能多强,一旦数据供给速度跟不上计算需求,计算单元就只能"空转等待",导致整体性能大打折扣。

HBM(高带宽内存)通过将多个 DRAM 芯片垂直堆叠、并放置在靠近 GPU 的位置,提供了比传统 DRAM 更宽的带宽,是当前 AI 加速器的首选内存方案。然而,随着 AI 模型规模持续膨胀,HBM 的带宽增长已逐渐追不上算力的提升速度,内存瓶颈问题再次凸显。

这一问题并非停留在理论层面。美光引用 Meta 的 Llama 3 训练论文中的数据显示,在训练过程中,17% 的意外中断是由 HBM 相关问题造成的,充分说明内存可靠性已成为制约大规模 AI 训练的实际障碍。

技术挑战:堆叠层数增加带来散热难题

HBM 的堆叠层数正不断攀升:早期为4层,当前主流12-16层,未来方向20层以上。层数越多,带宽和容量越大,但功率密度也随之急剧上升,散热难度显著增加。这已成为 HBM 进一步扩展面临的核心工程挑战。

美光强调,要突破上述瓶颈,行业必须转向颠覆性的工艺和封装技术,关键手段包括:

液冷技术:应对高功率密度带来的散热压力;

混合键合(Hybrid Bonding):提升芯片间互连密度,降低热阻;

下一代先进封装技术:从系统层面优化内存与计算单元的协同效率。

推荐:电脑用的少,手机扫一扫,资讯快一步!

扫码关注我们

简讯快报

更多