这其实是当前行业最大的认知误区。3D堆叠作为先进封装工艺,确实极大缓解了存储墙问题,但它和真正的存算一体,本质上是完全不同层级的技术。厘清两者的边界,不仅是澄清技术概念的需要,更关系到整个产业对下一代算力路线的判断。
3D堆叠为什么火?它解决了什么问题
要理解3D堆叠和存算一体的区别,首先要从存储墙问题说起。
统治计算产业70余年的冯·诺依曼架构,核心特征是计算与存储分离,数据必须在多层级存储结构中反复搬运,才能完成运算。尤其在 AI 大模型时代,矩阵计算占比高达 95% 以上,这一架构的数据搬运瓶颈愈发凸显。正如图灵奖得主约翰・轩尼诗所言:数据搬运的成本已经达到计算成本的 100 倍。
要破解这一难题,理论上有两条路径可以降低数据搬运成本:一是缩短数据搬运路径(近存计算),二是减少搬运层级甚至从根本上消除数据搬运(存算一体)。
产业界最先想到的方案就是 "让存储离计算更近一些"。从 2.5D 封装的 HBM,到如今逻辑芯片与存储芯片垂直堆叠的 3D 封装技术,都是这一思路下的产业实践。因此,2.5D 封装的 HBM 曾一度是近存计算的代表,而现在近存计算的最新技术代表则是 3D DRAM。
通过3D堆叠工艺,把存储和计算芯片封装在一起,极大缩短了数据传输的距离,把内存带宽提升了一个数量级。HBM-PIM更是进一步,在DRAM芯片里加入了简单的计算单元,让部分计算可以在内存侧完成。
无论是 2.5D HBM 还是 3D DRAM,逻辑单元与存储单元都分别在两个独立的晶圆上制造,再通过封装技术连接在一起。
沿着这一思路,还延伸出了 HBM-PIM 方案。这项技术最早由三星在 2017 年正式提出,核心是在 DRAM 裸片内部的 Bank 周边新增简单的 SIMD 电路,在同一晶圆上设计生产,从而缩短数据搬运距离,降低数据搬运的成本与能耗。但这一方案也存在明显短板:会挤占 DRAM 的存储容量,增加芯片功耗、降低良率、影响器件使用寿命;同时软件生态复杂,与 CUDA 不兼容,与逻辑 Die 的设计耦合度也带来了巨大的工程挑战。
但无论是 2.5D HBM 还是 3D DRAM,都只是缩短了数据搬运的物理距离,并没有改变数据搬运的层级结构,依然需要缓存作为权重数据搬运的中间驿站,来提升数据命中率。
多层级存储结构带来的数据搬运开销,并没有从根本上得到解决。
存算一体的本质:消除缓存,而非简单缩短距离
存算一体目前主要分为模拟存算一体和数字存算一体两大技术路线。
模拟存算一体并非将计算电路集成到存储器件内部,而是利用存储器件的物理特性,通过模拟计算的方式完成矩阵运算。这种方式的优势是功耗极低、晶体管用量少,但缺点是计算精度有限,模拟电路的成本占比较高。
数字存算一体同样不是将计算电路简单集成到存储器件内部,而是通过消除缓存结构,极致压缩矩阵计算过程中数据在多层级存储结构间往复搬运的开销,以最高效的方式完成矩阵乘运算。
我们可以用一个公式直观理解存算一体的价值:存算收益 = 参数量 × 搬运次数 × 搬运距离
算法规模越大,传统架构下需要搬运数据的次数越多、搬运距离越长,采用存算一体架构的收益就越显著。
因此在大模型时代,当数据搬运成本百倍于计算成本、矩阵乘运算占比超过 95% 时,存算一体就成为破解巨量数据搬运开销的有效路径。
这与 3D 封装通过缩短物理距离提升带宽的方案属于不同维度的技术创新,但两者可以协同互补、相辅相成,最终实现大容量、大带宽、零缓存、低功耗、高吞吐的产品特性。
通过省去多层级缓存的中转环节,存算一体从根本上降低了矩阵乘运算中的数据搬运开销,可以实现数量级的能效提升。
这里有一个非常关键的概念区分,也是行业最容易混淆的地方:
近存计算(Near Memory Computing):是对 "计算单元与存储单元物理距离较近" 这一状态的描述,属于架构优化手段,并非独立的计算单元类型。3D 堆叠、HBM、HBM-PIM 都属于近存计算范畴,本质上仍然保留了多层缓存结构。
-
存算一体(CIM,Computing In Memory):与 GPU、TPU、NPU 等计算单元类似,是一种实现矩阵计算的 IP 核,但效率更高、成本更低,尤其适合矩阵计算占比极高的 AI 算法。它从架构上消除了多级 Cache,从根本上避免了传统架构中矩阵运算所需的大量数据搬运。
任何逻辑单元都可以通过 3D 堆叠工艺实现 "近存" 状态; 而存算一体是一种矩阵计算过程中无需 Cache、数据读出即计算的全新架构。
如果用存储墙的消除程度来衡量三者的差异:
传统架构:多层缓存长距离往复搬运,存储墙问题最严重
-
近存计算(3D 堆叠 / HBM-PIM):缩短了数据搬运的总距离,一定程度上缓解了存储墙问题,但多层缓存结构依然存在,核心的数据搬运逻辑并未改变
-
存算一体:核心计算路径省去多级 Cache 中转,从架构层面消除了矩阵运算中大量的缓存数据搬运
存算一体正在走向产业落地
经过多年的技术探索,存算一体已经从实验室原理验证阶段,逐步走向产业落地。存算一体也已经写入国家"十五五"规划,成为行业公认的下一代算力核心方向。
在产业落地过程中,存算一体的技术路线始终围绕以下几个维度进行融合与取舍迭代:
-
性能维度:计算精度、存储容量、功耗水平、读写次数、读写速度
-
落地维度:成本、可生产性
-
商业维度:算法通用性、软件生态兼容性
经过 15 年的技术演进,行业逐渐在端侧和云端形成了两套清晰的取舍逻辑:端侧场景更注重功耗与成本;云端场景更注重精度与容量,前提是读写次数、读写速度以及工艺可生产性能够满足场景需求。
从早期机器视觉的MB级容量需求,到大模型时代TB级的容量需求,存算一体对存储容量的要求增长了数十万倍。因此存储介质的选择也逐渐从 SRAM、RRAM 统一到 3D DRAM——3D DRAM 凭借大容量、高带宽、高耐久性以及成熟的产业链优势,成为云端大模型场景的主流选择。
这一技术变迁的趋势清晰可见:从国内头部存算一体企业亿铸科技布局 RRAM 与 3D DRAM 双存储介质路线,到美国 d-Matrix 从 SRAM 转向 3D DRAM,行业主流玩家都已完成产品流片与大模型场景验证,成为这一技术路线的重要实践者。
3D 堆叠是封装工艺层面的进步,是在 2.5D 封装基础上为进一步缩短数据搬运距离做出的技术演进;存算一体则是计算架构层面的创新,是为从根本上消除缓存带来的数据搬运开销做出的范式革新。在人工智能大模型高速发展的今天,两项技术的出现与协同,是 70 年来第一次真正意义上对冯・诺依曼架构发起挑战的计算范式革命,也是这场革命产业化落地的开端。只有牢牢抓住 "减少或消除数据搬运" 这一核心本质,才能在这一轮算力变革中,找准真正的技术方向,把握产业机会。