前言:AI 时代,最难的不是”算”,而是”搬”

你可能听过一个词:AI 大模型。这些模型的训练和推理,需要海量数据在芯片之间飞速流动。

有一个反直觉的事实:很多时候,限制 AI 速度的不是算力,而是数据搬运的速度。芯片算得再快,如果数据”喂”不上来,也只能干等。

为了打通这个瓶颈,存储行业最近推出了一个新概念——HBF(High Bandwidth Flash,高带宽闪存)

但想真正理解 HBF,我们得先从最基础的内存说起:DRAM

一、先认识 DRAM:计算机的”工作台”

两种存储器:会”忘”的和不会”忘”的

在进入正题前,先分清两类存储:

  • 易失性(Volatile):一断电,数据就没了,但速度非常快。代表就是 DRAM
  • 非易失性(Non-volatile):断电后数据还在,但速度慢一些。代表是 NAND Flash(U 盘、SSD 里的那种)。

一个很形象的比喻:

  • DRAM 就像工作台:放正在用的工具,伸手就拿,但收工后要清空。
  • NAND Flash 就像仓库:东西长期存放,但取用要走几步路。

内存金字塔:快慢贵廉的分工

计算机里,存储是分层的,越靠上越快、越贵、容量越小;越靠下越慢、越便宜、容量越大。

存储层级金字塔:速度与容量的此消彼长,HBF 是补上的新一层

从上到下依次是:

  • SRAM 缓存:在 CPU 内部,最快最小最贵,容量以 KB/MB 计。
  • DRAM 主内存:就是我们说的”内存条”,容量以 GB 计。
  • HBF 高带宽闪存:本文的主角,介于 DRAM 和 SSD 之间的新层级。
  • NAND SSD / 硬盘:容量以 TB 计,最慢但最便宜。

一句话总结:越快的越贵,越大的越慢。工程师一直在想办法,让”快”和”大”尽量兼得——这就是后面 HBM、HBF 出现的动机。

DRAM 的”细胞”:1 个晶体管 + 1 个电容

DRAM 全称 Dynamic Random Access Memory(动态随机存取存储器),就是我们平时说的”内存条”。

它存 1 个 bit 的最小单元,结构简单到极致:1 个晶体管 + 1 个电容(简称 1T1C)。

DRAM 存储单元(1T1C):晶体管当开关,电容存电荷
  • 电容(Capacitor):负责存数据。电容里有电荷 = 1,没电荷 = 0。
  • 晶体管(Transistor):负责当”开关”,控制要不要读写这个电容。

一句话:DRAM 用”有没有电荷”来表示 0 和 1。

DRAM 的”死穴”:需要不停刷新

电容有个天生的毛病——会漏电。电荷会慢慢流走,时间一长,本来存的是”1”,也会慢慢变成”0”。

所以 DRAM 必须不断刷新(Refresh):每隔很短的时间,就把每个单元的电荷重新补满。

DRAM 刷新机制:电荷不断流失,需要周期性"补电"维持数据

这也正是”Dynamic(动态)“这个名字的由来——它的数据是”动态”维持的,不刷新就会丢。

这也带来一个关键特性:DRAM 一旦断电,数据立刻丢失,因为它全靠电荷维持,而维持电荷本身就需要持续供电。

DRAM 的优点与短板

维度 表现
速度 非常快(纳秒级延迟)
随机访问 优秀,任意位置都能直接读写
容量 单条几 GB 到几十 GB,做不大
断电后 数据丢失(易失性)
价格 相对贵(单位容量)

二、DRAM 不够用了:带宽危机

什么是”带宽”?

带宽(Bandwidth),简单理解就是单位时间内能搬多少数据

打个比方:带宽就像一条马路——宽度越宽、车速越快,单位时间能通过的车(数据)就越多。

存储带宽通常用 GB/s(每秒多少 GB)TB/s(每秒多少 TB) 来衡量。

AI 为什么特别”吃”带宽?

传统计算里,CPU 算一点、读一点,带宽勉强够用。

但 AI 大模型完全不同:它的参数动辄上千亿,每一次计算都要在极短时间内搬运海量数据。如果内存带宽跟不上,再强的算力也只能”空转”等待数据。

于是出现了一个现象:算力(FLOPs)飞速增长,内存带宽却涨得慢,带宽成了整个系统”木桶最短的那块板”。

传统内存条为什么带不动?

传统的内存,是”平铺”在主板上的长条(DIMM,内存条),靠一排金属引脚和长长的电路走线(PCB trace)与 CPU 相连。

不同存储介质的带宽对比:HBF 最高档与 HBM4 同一量级,比普通 SSD 高出两个数量级

这种”平铺 + 引脚”的方式,有几个难以突破的限制:

  • 引脚数量有限:信号线越多,引脚越多,封装越大、越难做。
  • 走线太长:数据从内存走到 CPU,路程越长,越难提速。
  • 信号完整性:频率一高,信号互相干扰、衰减就越严重。

于是工程师换了个思路:既然”平铺”受限,那能不能把芯片垂直堆起来

三、HBM:把 DRAM 堆起来

什么是 HBM?

HBM(High Bandwidth Memory,高带宽内存),可以理解成”把 DRAM 竖着堆起来“。

它的思路非常直观:

  1. 把多层 DRAM 芯片垂直堆叠在一起;
  2. TSV(Through-Silicon Via,硅通孔) 像”电梯井”一样从上到下打穿,把所有层连起来;
  3. 再把这一整个”堆”放在一个底座上,紧贴着 CPU/GPU 放。
HBM 结构:多颗 DRAM 芯片垂直堆叠,用 TSV 贯穿连接,贴近计算芯片

因为离计算芯片极近、接口又做得极宽,HBM 的带宽远高于传统内存条。

为什么”堆起来”就快了?

三个字:短、宽、省

  • :数据路径短了。芯片近在咫尺,不用跑长长的 PCB 走线。
  • :接口极宽(上千位数据线同时传),就像把马路加宽到上百条车道。
  • :距离短、电压低,功耗反而更低。

结果就是:HBM 的带宽做到了每堆栈 TB/s 级别,是传统内存条的几十倍。

HBM 也不是万能的

HBM 解决了”快”,但它依然有几个短板:

  • :3D 堆叠 + 打孔的工艺复杂,良率低、成本高。
  • 容量有限:一颗堆栈容量还是 GB 级别,装不下太多数据。
  • 本质还是 DRAM:依旧易失性,断电数据照样丢。

于是,一个自然的疑问浮出水面:能不能用又便宜、又大、还不怕断电的 NAND Flash,也做出”高带宽”?

四、HBF:给闪存装上”高速公路”

换个角度看问题

先回顾一下 NAND Flash 的优点:容量大、便宜、断电不丢数据

它的短板是什么?——传统 SSD 的接口带宽太低了,远不如 HBM。

那如果把 NAND 也用”堆叠 + 加宽车道”的思路改造一下,会怎样?

这就是 HBF 的由来。

HBF 是什么?

HBF(High Bandwidth Flash,高带宽闪存),可以理解成”NAND 版的 HBM“。

它把 8 层或 16 层 NAND 芯片用 TSV 垂直堆叠起来,让闪存也拥有远高于传统 SSD 的带宽。

HBF 结构:8 或 16 层 NAND 芯片垂直堆叠,TSV 贯穿连接,经 UCIe 接口贴近 CPU/GPU
HBF 的定位:带宽比肩 HBM,容量约为 HBM 的 10 倍(横轴容量,纵轴带宽)

HBF 的关键特点

简单列几个要点(不用记细节,先有个印象):

  • 基于 NAND Flash:非易失,断电不丢数据。
  • 堆叠结构:8 或 16 层 NAND 芯片用 TSV 堆叠,和 HBM 类似。
  • 容量大:单个堆栈最高约 512 GB,是 HBM4 单堆栈(约 48 GB)的 10 倍以上。
  • 带宽高:约 0.4 ~ 3 TB/s,分三个等级(Grade 1~3)——最高档与 HBM 同一量级,最低档也有普通 SSD 的几十倍。
  • 接口先进:通过 UCIe 直接连接 CPU/GPU 等计算芯片。

补充一个小背景:HBF 的首个标准规范由 SK 海力士(SK Hynix)闪迪(SanDisk) 于 2026 年 8 月的 FMS(未来存储大会)上联合发布,并通过 OCP(开放计算项目) 以开放标准形式公开,联盟成员还有 Google、Tenstorrent 等。目前 NVIDIA、AMD 尚未加入。

HBF 的定位:补位,不是替代

一句话记住 HBF 的角色:它不替代谁,而是补上中间那块空白。

  • HBM:容量大一个数量级、更便宜、断电不丢数据,带宽最高档与之相当(但延迟更高,因为 NAND 本身比 DRAM 慢)。
  • SSD:带宽高了一到两个数量级。

所以它特别适合读多写少的场景,典型的就是 AI 推理:比如加载大模型权重、MoE(混合专家)的专家参数——这些数据要”频繁读、很少写、量又大”,HBF 正好对味。

三者对比:一张表看懂

对比项 DRAM / HBM HBF NAND SSD
本质 DRAM NAND Flash NAND Flash
易失性 易失(断电丢) 非易失(断电不丢) 非易失
容量(单堆栈/盘) 几十 GB 级 ~512 GB 数 TB
带宽 TB/s 级(HBM4 单堆栈约 2TB/s) 0.4 ~ 3 TB/s(三档) GB/s 级
延迟 极低 较高
价格 中(预计,尚未量产) 便宜
典型用途 计算时的”工作台” AI 推理、大权重存储 大容量长期存储

总结:一图看懂三者的分工

回到最初的问题,这三者到底怎么配合?用一句话概括:

  • DRAM/HBM 负责”算得快“——它是计算芯片身边的”工作台”。
  • NAND SSD 负责”存得多“——它是长期保存数据的”仓库”。
  • HBF 负责”喂得快还不怕断电“——它是介于两者之间、专为”读多写少”场景准备的”高速仓储区”。
回到金字塔:HBF 正好补上了 DRAM 与 SSD 之间空了很久的那一层

本文只讲了最简单的概念,帮助你建立一个整体印象。更深入的细节——比如 DRAM 的刷新到底怎么工作、TSV 是怎么打出来的、HBF 的带宽为什么能分三档、UCIe 接口又是什么——会在后续文章里逐个展开。

下一篇,我们先把”存储的最小单元”讲透:从 SRAM、DRAM 到 NAND,三种芯片分别是怎么存 1 个 bit 的?