三星电子展示下一代AI内存：与现有HBM相比，性能提高一倍以上

据韩媒报道，三星电子在今年的Hot Chips 2023上公布了高带宽存储器（HBM）-内存处理（PIM）和低功耗双倍数据速率（LPDDR）-PIM研究成果。这两款存储器是未来可用于人工智能（AI）行业的下一代存储器。

三星电子展示了一项研究成果，将HBM-PIM应用于生成式AI，与现有HBM相比，加速器性能和功效提高了一倍以上。本研究中使用的GPU是AMD的MI-100。 

为了验证MoE模型，还构建了 HBM-PIM 集群。集群中使用了 96 台配备 HBM-PIM 的 MI-100。在MoE模型中，HBM-PIM还表明加速器性能比HBM高两倍，功率效率比HBM高三倍。 

HBM-PIM是将PIM与HBM结合在一起的半导体。它是一个概念，通过处理一些以前由CPU在内存中处理的操作来减少数据移动量。近年来，随着内存瓶颈成为AI半导体领域的一大挑战，HBM-PIM作为下一代内存半导体备受瞩目。

除了HBM-PIM，三星电子还展示了LPDDR-PIM。LPDDR-PIM 是一种将 PIM 与移动 DRAM 相结合的形式，可直接在边缘设备内处理计算。由于它是针对边缘设备开发的产品，因此带宽（102.4GB/s）也较低。三星电子强调，与DRAM相比，功耗可降低72%。 

业内人士表示，与AI加速器性能的提升相比，存储器的发展速度缓慢。在大规模语言模型（LLM）中，数据重用率很高，并且可以减少数据移动（通过 HBM-PIM 中的计算）。

然而，HBM-PIM和LPDDR-PIM的商业化还需要相当长的时间。PIM在通过存储器工艺实现非存储器半导体的特性方面存在技术困难。此外，与现有的HBM相比，还有一个缺点是价格昂贵。