前言：技术成立，不等于生意成立

前面九讲，我们把 HBF 从里到外拆了个遍：NAND 堆叠、TSV、三档带宽、UCIe 接口。结论是：技术上成立。

但历史上倒下的技术里，死于”做不出来”的，远少于死于”没人用”的。一项新存储要活下来，还必须回答一个更刁钻的问题：

它到底解决了谁的、什么痛点？痛到愿意掏钱吗？

HBF 的答案押在 AI 推理（Inference） 上。训练是一次性投入，推理却是天天开门营业的持续成本——电费、折旧、扩容，每一项都在逼运营方抠成本。而如今的推理服务商，正被三个痛点夹着打：模型装不下、缓存撑不住、带宽买不起。

这一讲，我们一个个算账。

一、痛点一：模型装不下

推理时，芯片身边流动着三类数据：权重（Weights）、KV Cache（键值缓存）、激活（Activations）。先看全景，再算大账。

推理时的三类数据：权重量最大、KV Cache 增长最快、激活只在芯片里转瞬即逝

先算权重这本账，规则很粗暴：参数量 × 每参数字节数。以 FP8（每参数约 1 字节）量化为例，所有参数都得常驻内存、随叫随到：

70B 模型：约 70 GB；
405B 模型：400 GB 往上；
MoE 671B：总参数约 670 GB——就算每个 token 只激活一小部分，其余专家也必须原地待命，因为路由器随时可能点到任何一个。

量化确实能省内存，但省得有限：再怎么压，权重总量还是跟着参数量走，量级摆在那里。

而单张 GPU 的 HBM 有多少？HBM4 单堆栈约 48 GB，一张卡带上几个堆栈，也就是百 GB 量级。于是：

70B 勉强塞进单卡；405B 起步就要多卡分摊；到 671B 的 MoE，得多机多卡伺候——每一份容量都是真金白银。

买更多卡当然能解决。但训练买卡是买算力，推理买卡常常只是为了”装得下”——卡上的计算单元大半时间在睡觉，这笔钱花得冤。

二、痛点二：KV Cache 膨胀

第二个痛点更隐蔽，主角叫 KV Cache（Key-Value Cache，键值缓存）。

大模型推理时，注意力机制会把历史 token 的 Key/Value 缓存下来，避免每生成一个字就把前文重算一遍。它的麻烦在于：随上下文线性膨胀。

对话越长，KV 越大——多聊十轮，账单就厚一沓；
系统提示词越长，每条请求都要完整背一份，一字不能少；
RAG（检索增强生成） 把大段检索文档塞进上下文，更是雪上加霜。

于是，在长对话和 RAG 场景下，单条请求的 KV Cache 就能膨胀到几十 GB 量级；上百路并发一叠，总需求冲到上百 GB 并不稀奇。

KV 装不下会怎样？无非三种妥协，每种都有代价：

截断上下文：用户体验直接受损——“它忘了前面说的话”；
频繁换入换出：延迟抖动，吞吐量忽高忽低；
加卡分摊：又是钱。

三、痛点三：带宽与成本的平衡

三个痛点摆在一起，推理内存的真实需求是：既要大、又要快、还要便宜。而现有选项各有残缺：

HBM：快是真快，但每加一份容量都很贵——“买不起更大”；
SSD：便宜量大，但带宽比 HBM 低约两个数量级——“装得起却喂不饱”。

中间那一层——偏高的带宽 + 大容量 + 可接受的成本——长期空着。HBF 的三个 Grade（约 0.4 ~ 3.0 TB/s）正是冲着这块空白去的：最低档也有普通 SSD 的几十倍，最高档摸到 HBM 的量级。

痛点	现有方案的困境	HBF 的答案
模型装不下	HBM 容量贵，扩容就是烧钱	单堆栈最高约 512 GB
KV Cache 膨胀	截断伤体验，加卡伤成本	大容量 + TB/s 级读取
带宽与成本	HBM 快但贵，SSD 便宜但慢	预计单位成本低一个量级

四、杀手级场景一：MoE 专家分层

现在看 HBF 最锋利的一刀：MoE（Mixture of Experts，混合专家）。

MoE 的思路是把模型拆成许多”专家”网络，由**路由器（Router）**为每个 token 挑几个专家干活。于是出现一个绝佳的错位：

专家总量很大：动辄几百个专家，总参数轻松几百 GB——且必须全部常驻内存；
单次只读一小撮：每个 token 真正用到的，只有被点到名的那几个。

“装得下”和”读得快”，第一次可以拆开来满足。分层策略应运而生：

热专家（高频被点名）→ 放 HBM；
冷专家（偶尔才用）→ 放 HBF；
路由器根据流量统计预测下一批 token 要用哪些专家，提前把冷专家搬进 HBM——按需搬运。

还记得 NAND 的脾气吗——读快、写慢、容量便宜。而专家参数恰好是”频繁读、很少写、量又大“：训练完成后基本只读，推理时被一遍遍读。写入寿命（P/E）在这种负载下几乎不构成威胁——HBF 的短处完全踩不到，长处全用上了。天作之合。

五、杀手级场景二：分层内存架构

第二个杀手级场景，是把 HBF 编进一整套 Tiered Memory（分层内存）：

热层 = HBM：当前工作集、已激活的参数——要求最快；
温层 = HBF：完整模型权重 + KV Cache——要求大且读得快；
冷层 = SSD：模型仓库、归档数据——要求便宜。

数据像水一样按温度流动：变热的往上搬，变冷的往下沉。

这不是纸面空想，行业已经在往这个方向卷。FMS 2026 上，迈威科技（Marvell） 就展示了一套面向 AI 推理的三级 KV 缓存架构：

服务器端 PCIe 6.0 SSD 控制器 + 机架级 CXL 内存池 + 光互连共享内存层，可在约 50 米内连接加速器机架，最高 32 TB 热 KV 缓存，token 吞吐量提升约 2~3 倍。

有意思的是，Marvell 的方案里并没有 HBF——它用”CXL 内存池 + SSD”硬搭了一把梯子，把温层的带宽一节一节凑出来。而 HBF 的野心，正是把这把梯子中间最别扭的一级换掉：温层不必再用 SSD 硬凑带宽，直接上一块 512 GB、TB/s 级的堆栈。两条路线殊途同归，都指向同一张分层蓝图——这本身就是 HBF 故事可信度的最好佐证。