NEO半导体推出3D X-AI芯片：在3D DRAM中执行AI处理

NEO Semiconductor宣布开发其3D X-AI芯片技术，旨在通过在 3D DRAM 中实现 AI 处理来取代高带宽存储器 (HBM) 中的现有 DRAM 芯片，以解决数据总线瓶颈问题。3D X-AI 可以减少 AI 工作负载期间 HBM 和 GPU 之间传输的大量数据。

采用NEO 3D X-AI 技术的 AI 芯片可以实现：

100X性能加速：包含8,000个神经元电路，可在3D内存中执行AI处理。

降低99%功耗：最大程度减少将数据传输到GPU进行计算的要求，从而降低数据总线的功耗和发热量。

8 倍内存密度：包含 300 个内存层，允许 HBM 存储更大的 AI 模型。

单个3D X-AI芯片包含300层3D DRAM单元，容量为128GB，以及一层包含8,000 个神经元的神经电路。据 NEO 估计，每个芯片可支持高达 10 TB/s 的 AI 处理吞吐量。使用 12 个 3D X-AI 芯片与 HBM 封装堆叠可实现 120 TB/s 的处理吞吐量，从而将性能提高 100 倍。

NEO Semiconductor 创始人兼首席执行官 Andy Hsu 表示：“目前的 AI 芯片由于架构和技术效率低下而浪费了大量性能和功耗。目前的 AI 芯片架构将数据存储在 HBM 中，并依靠 GPU 执行所有计算。这种分离的数据存储和数据处理架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限和功耗非常高。3D X-AI 可以在每个 HBM 芯片中执行 AI 处理。这可以大大减少 HBM 和 GPU 之间传输的数据，从而提高性能并大幅降低功耗。”