前言：地基打好了，开始盖楼

上一篇把 TSV 这部”电梯”的施工方案讲完了。地基有了，这一篇看 HBM 这栋楼是怎么盖起来的：内部结构长什么样、五代标准怎么演进、为什么快、又卡在哪。

一、HBM 结构解剖：一摞饼干 + 一块托底

把一个 HBM **堆栈（Stack）**切开看，从上到下是：

HBM 堆栈详细剖面：多层 DRAM Die + 底部逻辑 Die，TSV 贯穿、微凸点层层连接，整个堆栈躺在中介层上紧挨 GPU
  • N 层 DRAM Die：垂直堆叠的 DRAM 芯片，薄得像饼干，层数从早期的 4 层一路加到 16 层；
  • 逻辑 Die（Logic Die）：垫在最底下的一层特殊芯片，放着接口电路（PHY）和测试电路——对外的高速接口只做一份，DRAM Die 保持纯粹，堆多少层都不用重复；
  • TSV：贯穿所有 DRAM Die 的铜柱”电梯井”，把各层数据引到逻辑 Die；
  • 微凸点：层与层之间的”垫脚”，最底下再通过一排微凸点落到中介层上。

整个堆栈躺在中介层上、紧挨着 GPU——这就是第一篇那张示意图的”施工版”。

这个设计聪明在哪？分工：DRAM Die 只管存取，逻辑 Die 只管对外说话。想加容量就多摞几层，接口电路一个字不用改。

那逻辑 Die 怎么知道数据在哪一层？每层 DRAM 像一套独立的”分册”，地址里自带层号——逻辑 Die 把它翻译成”第几层、哪个 Bank、哪一行哪一列”，剩下的就交给上一篇讲的 DRAM 基本功。

二、从 HBM1 到 HBM4：十年五代

HBM 是 JEDEC 定的开放标准，第一代 2015 年随 AMD Fury 显卡首发，到 2025 年 HBM4 定标，正好十年：

代际 定标 / 量产 接口位宽 单堆栈带宽 堆叠层数 / 单堆栈容量
HBM1 2015（AMD Fiji 首发） 1024 位 128 GB/s 4 层 / 1~2 GB
HBM2 2016 1024 位 256 GB/s 4~8 层 / 8 GB
HBM2E 2020 1024 位 约 460 GB/s 8 层 / 16 GB
HBM3 2022（H100 采用） 1024 位 819 GB/s 最高 12 层 / 24 GB
HBM3E 2024 1024 位 约 1.2 TB/s 12 层 / 36 GB
HBM4 2025 定标 2048 位 约 2 TB/s 16 层 / 48 GB
HBM 各代演进：单堆栈带宽从 128 GB/s 涨到约 2 TB/s（×16），层数从 4 涨到 16

三个趋势一眼可见：

  • 带宽一路翻倍：位宽和数据率两头一起涨；
  • 层数一路加高：4 → 8 → 12 → 16，越摞越高；
  • 容量跟着层数走：单堆栈从 HBM2 时代的 8 GB 涨到 48 GB。

顺带解释命名：带 E 的是增强版（Extended）——标准框架不动，速率和层数往上挖，HBM2E、HBM3E 都是这么来的。

三、为什么快：还是那条公式

第四篇的公式搬回来：带宽 = 位宽 × 数据率。

HBM 的策略是死磕位宽：

  • 普通内存条（DIMM）：64 位；
  • HBM1 ~ HBM3E：1024 位——是内存条的 16 倍；
  • HBM4：翻倍到 2048 位。

为什么内存条做不到？第四篇算过账：几千条走线在主板上根本铺不开。HBM 靠上一篇讲的 TSV + 中介层，把上千条连接全部收进几毫米见方的封装里——位宽不要钱似地往上加。

宽还有个副产品：每位数据的功耗被摊薄了。HBM 的能效约 3.5 pJ/bit，比 GDDR 显存低约一半——对功耗以千瓦计的 AI 加速卡来说这是救命的优势：同样的功耗预算，能喂给 GPU 的数据多一倍。

而这一切的前提，是上一篇的 TSV：没有垂直互连，就没有宽接口。

顺便澄清一个常见误会：HBM 快的是带宽，不是延迟。第四篇说过这两者是两回事——HBM 的访问延迟与普通 DDR 相当、甚至略高一点（信号要穿过堆栈和中介层）。它赢在”一次能搬多少”，而不是”一次要多久”。

最后用一张表把三种内存的接口放在一起看：

对比项 DDR5 内存条 GDDR6 显存 HBM3E
接口位宽 64 位 / 通道 每颗 32 位 每堆栈 1024 位
带宽（量级） 约 50 GB/s / 通道 每颗约 64 GB/s 约 1.2 TB/s / 堆栈
能效 更高（走线长） 约 7 pJ/bit 约 3.5 pJ/bit
典型场景 CPU 主内存 显卡显存 AI 加速卡

GDDR 靠多颗并联凑位宽，但每颗只有 32 位、只能靠拉高频率硬撑——走线长、信号摆幅大，能效先天吃亏。HBM 反其道而行：位宽给足、频率温和、距离极短。

四、实际产品：多堆栈并联

一个 HBM 堆栈只有几十 GB 容量、TB/s 级带宽，单靠一个不够——所以 GPU 封装里把多个堆栈并排摆在计算芯片身边，带宽和容量都按堆栈数相加。

典型 AI 加速卡封装俯视：GPU 居中，两侧各摆 3 个 HBM 堆栈，全部躺在中介层上

几个大家熟悉的名字，背后都是这个加法：

  • H100：80 GB HBM3；
  • H200：141 GB HBM3E；
  • B200：192 GB HBM3E（8 个 24 GB 堆栈拼出来的）。

把这个加法算给你看（以 B200 为例）：8 个堆栈 × 1024 位 = 8192 位的总接口，8 × 约 1 TB/s ≈ 8 TB/s 的总带宽——第一篇说的”把马路加宽到上千条车道”，在真实产品里就是这个形态。

五、生态：标准 + 三大原厂

HBM 是 JEDEC 开放标准，谁都可以按标准做。实际供货的是 DRAM 三大原厂：SK 海力士、三星、美光——其中 SK 海力士长期占大头，AI 爆发这几年三大厂都在拼命扩产堆叠产能。

一个细节：这三大原厂同时也是 NAND 的大玩家。HBM 与 HBF 之争，说到底还是同一批人手里的两条技术路线之争。

顺带把产业链说全：HBM 堆栈由三大原厂以成品形式供货，再由台积电 CoWoS 这类 2.5D 封装（上一篇的主角）把它和 GPU 装上同一块中介层——一颗 AI 芯片，实际上是几座工厂的接力作品。

六、HBM 的天花板

HBM 很强，但第一篇埋的三个伏笔一个都没解决：

  • 贵：TSV + 堆叠 + 中介层，工艺链条长、良率低，单位容量价格远高于普通 DRAM；
  • 容量有顶：单堆栈 48 GB（HBM4），就算 8 个并联也就几百 GB——对越来越大的模型还是紧张；
  • 还是易失：本质是 DRAM，断电即忘。

更微妙的是产能：HBM 的堆叠产能和先进封装产能就那么多，AI 芯片常常要等内存厂交货才能出货——“一芯难求”里有一部分，其实是”一内存难求”。

于是 NAND 阵营坐不住了：把又大、又便宜、还断电不丢数据的 NAND，也用堆叠 + 宽接口武装起来，行不行？

这就是 HBF 要回答的问题。

总结：宽、近、省

  • HBM = N 层 DRAM Die + 底部逻辑 Die，TSV 贯穿、躺在中介层上贴着 GPU；
  • 十年五代：位宽 1024 → 2048，带宽 128 GB/s → 约 2 TB/s，容量最高 48 GB；
  • 快的秘诀还是带宽 = 位宽 × 数据率：用 TSV 换来千位级位宽，再用近距离换能效；
  • 实际产品靠多堆栈并联：H100 80GB、H200 141GB、B200 192GB；
  • 但它贵、容量有顶、易失——这三点正是 HBF 的突破口。

下一篇，我们正式走进 NAND 的世界：NAND Flash 入门——浮栅里的电子是怎么被锁住的？SLC、MLC、TLC、QLC 又是什么？

我们下一篇见。