目录
如果说本轮AI浪潮有什么问题一直让资本市场寝食难安，那一定是HBM。作为AI芯片最核心的配套硬件，市场反复纠结两个问题：它的需求增长到底有没有顶？它会不会像过去每一轮存储行情一样，最终被产能过剩和周期反转打回原形？
本文不打算在传统的供需框架里绕圈。我们选择从GPU硬件架构和AI推理运行机制的根源入手，直接追问一个更底层的问题：大模型落地场景中，单GPU对应的HBM需求为什么必须指数增长？更关键的是——这种增长为什么是刚性的，不存在"主动停下来"的选项？
我们将搭建一套专属于AI时代的Token算力经济学分析框架。核心结论非常明确：如今GPU性能的迭代天花板，已经不由计算核心说了算，而是被HBM的容量和带宽牢牢锁死。这个结论如果成立，对整个存储产业意味着什么，不言自明。
DRAM行业在过去的数十年间，始终被困在一轮又一轮的周期轮回之中。涨的时候扩产、跌的时候砍单，这套剧本反复上演，不管中间需求增速飙到多高（20%以上的年份并不少见），最终无一例外地以产能过剩收场。市场对HBM的分歧因此极端尖锐：乐观派认为AI需求的结构性颠覆足以终结周期，而谨慎派坚持认为，存储的历史铁律不可能被轻易打破。本文将用架构和逻辑层面的双重论证，说明一个核心判断——这轮HBM的增长逻辑，已经与传统存储周期彻底断链。
要理解HBM今天的地位转折，必须先回到起点：在生成式AI横空出世之前，全球通用算力市场的主宰者是CPU。而CPU时代的游戏规则极其简单粗暴——拼的就是谁的主频更高、跑分更强。架构翻新、超标量设计、指令集优化，所有工程师的聪明才智都在为这个单一目标服务。
在这样一种以计算为中心的架构体系里，内存天然就是配角。一个最直接的证据：DDR内存从第三代进化到第五代，前前后后用了整整15年。不是做不出来，是没人真正需要。行业测过无数次，即便DDR的读写速度实现翻倍，对CPU整体运算性能的改善也只有区区20%——这点边际收益，谁都提不起迭代的紧迫感。
CPU架构从设计思想层面就内置了对内存延迟的"容忍机制"。重排序缓存、寄存器重命名、层层嵌套的多级缓存——这套组合拳的核心使命就是：通过拉升指令并行度，把内存读写的那些延迟"藏起来"。效果很成功：带宽不再是瓶颈，但也意味着内存带宽的竞争性价值被架构本身彻底消解了。
更致命的是需求端。CPU面对的主流负载——浏览器、文字处理、云端常规事务——对内存带宽的胃口小得可怜。DDR的带宽长期处于大幅过剩状态。没有需求拉动，标准迭代自然缺乏动力，JEDEC的进度条一拖就是多年。
带宽如此，容量也没好到哪里去。传统的应用软件体量增长缓慢，更关键的是它们不需要把数据全堆在内存里——需要时从硬盘动态调取即可。过去十年，单台终端的平均内存容量不过从7-8GB爬到了23GB，整十年仅翻了三倍。
对于存储厂商来说，这种格局是致命的。营收增长几乎只能指望终端出货量扩张，速度升级带来的产品溢价极其有限。DRAM芯片在CPU时代的命运由此注定——永远站在算力舞台的边缘，做那个"有它更好、没它不行但也没人激动"的配角。
大模型商业化一夜之间改变了所有规则。延续几十年的CPU算力评价框架瞬间过时。GPU接棒之后，整个行业的考核体系被彻底打翻重来。
过去的KPI很直白：TOPS、FLOPS，谁的算力跑分高谁赢。但AI推理赛道完全不按这套出牌。真正的胜负手变成了两样东西：Token的产出效率，以及Token的综合成本。单位功耗、单位成本下到底能吐出多少有效Token，这才是硬通货。再加上智能体（Agent）的串行任务越来越普遍，Token的生成速度不再只是技术指标，而是直接决定用户体验的生死线。
英伟达为什么反复讲"AI工厂"这个故事？因为它精准对应了这个新范式。AI工厂的商业逻辑非常纯粹——用最便宜的综合运营成本，稳定地、规模化地输出Token。就像传统工厂追求吨钢成本最小化，AI工厂追求单Token成本最小化。
更值得注意的是训练和推理的商业分岔。训练阶段遵循总拥有成本（TCO）逻辑：集群越大、摊到每个Token的训练开支越低，规模效应压一切。但推理是AI真正变现的主战场，毛利厚、商业价值高，逻辑完全不同——英伟达GPU至今是市场上唯一能让单Token推理成本压到极致的方案，谁部署得越多，谁的盈利空间就越宽。
所以当前所有AI硬件迭代的终极指向，都在逼近一个帕累托最优解：一边拉高Token吞吐总量，一边缩短单Token生成耗时。英伟达每一代GPU集群的升级，实质都是在把这根帕累托前沿曲线向右上方平移——这才是AI推理时代硬件竞赛的真正内核。
顺着上述推理逻辑向下走，我们会碰到一个不容回避的结论：Token吞吐需求的指数增长，靠堆GPU算力本身是追不上的。真正的上限不在计算核心，而在HBM——容量和带宽这两只手，共同扼住了GPU性能的咽喉。
先看一个退化到最简的早期场景：单卡单线程推理（batch size=1）。这时候一切都很单纯，Token的生成速率只取决于HBM带宽——带宽越高，每秒出的Token越多。计算公式干干净净，没有多余的变量来添乱。
但NVL72集群的问世把故事升级到了完全不同的维度。72颗GPU加上36颗CPU形成的协同体，标志着AI推理真正进入了系统级、集群化阶段。算力和HBM的配合被压榨到极限。到这个层级，Token吞吐总量由两个变量共同决定：你能同时接多少条推理请求（batch size），以及每条请求的Token平均生成速度能跑多快。两者相乘，就是硬件的性能天花板。
假设单请求生成速率稳定在100 token/s，这套设备可以同时并行1920条推理请求，吐出每秒19.2万token。整机功耗约120KW，折合每兆瓦能撑起160万token/s的产出效率。
（一）并行批处理规模：由HBM容量刚性约束
大模型每次推理，每条用户请求都会在内存中生成一块专属的KV缓存。这种数据命脉极短——访问频率极高、体积庞大（单条可达数GB甚至数十GB），既不能丢到硬盘上慢慢读，也不能放在普通内存里拖慢节奏。它必须、也只能住在HBM里。以80层的超大模型为例，每产出一枚Token，系统就得在HBM里把KV缓存来回读80次。
这就形成了一个硬约束：你并行处理的请求越多，HBM里堆的KV缓存就越厚，两者是严格线性的。如果HBM撑不住这个容量，系统就得拆分批次处理——吞吐效率直接腰斩。
打一个比方：把HBM想象成一个加工车间。容量就是车间里能摆多少张工作台——每张工作台处理一条请求的KV缓存。工作台不够，就只能流水线排队，产能自然上不去。所以你最多能并行处理多少请求，就是车间里工作台的数量——不多不少，全由HBM容量说了算。
（二）单Token生成速度：由HBM带宽直接决定
Token生成过程中，真正卡脖子的不是GPU的运算单元，而是数据搬运。每造一枚Token，都要来回搬模型权重和KV缓存，这些内存读写的频次和体量，比计算本身更费时。所以带宽直接锁死了单Token生成速度的上限。
LPU架构的出现，是对这个困局的一次聪明回应。它把中小批量推理中需要用到的激活权重搬到了SRAM里暂存，减少了HBM的读写次数。但这只能缓解、不能根治——KV缓存的读取跑不掉，那是刚需。所以Token生成速度和HBM带宽之间，仍然是稳定的一比一绑死。
回到车间比喻：带宽就是车间里物料搬运的通道宽度。工作台再多，如果通往每张工作台的通道窄得像地道，原材料和半成品送不进去也运不出来，工人只能干等。推理也一样——HBM容量再充裕，带宽上不去，每个Token都得慢慢磨。
更大的图景是：GPU上其他所有模块的迭代——不管是计算单元还是互联架构——本质上都是在配合HBM的节奏。行业甚至不惜动用带宽压缩技术，用冗余算力去填补带宽缺口。一切努力最终汇聚成一个简洁到近乎残酷的等式：
把上面所有链条串起来，就得到了AI推理时代Token经济学的第一性原理：Token吞吐总量，等于HBM容量乘以带宽。这意味着AI产业的生死线——那个被全行业盯着的核心性能KPI——已经和传统的算力指标（FLOPS、TOPS什么的全算上）正式脱钩，被完整移交到HBM手中。
一旦接受这个设定，接下来的推论就没有任何弹性可言了：如果行业定下的目标是每代GPU产品的Token吞吐翻一番，那么单卡HBM容量×带宽也必须翻一番。这是半导体产业六十多年的历史中，第一次出现内存而不是计算核心成为代际迭代的终极天花板。
支持这个结论的证据不是靠感觉，是靠数据跑出来的。把英伟达从A100到Rubin Ultra历代产品的数据画出来，会看到两条几乎贴在一起的曲线——GPU的Token吞吐增速，与HBM容量×带宽的乘积增速，在对数坐标系上几乎可以相互覆盖。
细节上还有一个有趣的现象：HBM综合性能的增速略高于Token吞吐的增速。这不矛盾，恰恰说明一个常识——HBM设定的是理论天花板，落地到真实系统中要打折扣。架构适配、算力协同、软件生态，层层衰减之后，千倍HBM性能的增长不可能被百分之百吃尽。但这不是问题，要命的是增速方向完全一致。
两条曲线的同步不是巧合，是AI系统被推到极致优化后的必然结果。Token吞吐 = 批处理规模 × HBM带宽——这不是理论模型，而是AI工厂真实的商业方程式。没有人能绕过它。
有一种质疑在市场上反复出现，逻辑上听起来也有几分道理：如果算法足够聪明、软件优化足够深入，是不是就能少用一点HBM，把硬件迭代的紧迫性降下来？
这个问题其实不需要在AI的语境里摸着石头过河——CPU产业几十年的历史已经给出了标准答案。软件优化能让CPU跑得更快效率更高，但它从来没有、也绝不可能取代硬件本身的升级。不管编译器和OS优化到哪个段位，芯片厂商不去更新制程和架构，产品就必然被竞争对手踩下去。这条铁律无缝移植到GPU和AI赛道。
因为本质上，软件优化挖的是现有硬件的存量潜力，而硬件迭代拉高的是全产业的增量天花板。两条改进路径平行推进、互不替代。只要全球AI Token的用量还在往上冲，产业对吞吐效率和生成速度的追求就不可能停下来——停下来就是商业自杀。在这个意义上，HBM的迭代需求不是周期性波动的，是刚性的、不可逆的。
再看供给端的博弈格局就更清楚了：HBM的升级速度已经直接和英伟达GPU的产品竞争力挂钩。一旦三星、SK海力士或美光在HBM技术上放慢脚步，英伟达的GPU性能迭代就跟着卡死——产品卖不出去是分分钟的事。所以英伟达不仅有动力、更有压迫感去倒逼三家存储厂加速跑，谁都不能掉队。
同时英伟达并没有把鸡蛋全放在一个篮子里。LPU这种异构架构尝试，就是冲着在HBM物理上限之外找到额外性能增量的方向去的——通过架构创新改善帕累托曲线形状，特别是在高吞吐场景下提升Token生成效率。这套路径和HBM扩容是互补关系，不是替代关系。
把时间轴拉长来看，HBM走过的这条路是一次产业地位的彻底翻盘。CPU时代它是算力世界里的边角料、无关痛痒的配角；AI时代它成了整个体系里的定盘星——没有它，GPU连底都兜不住。更关键的是，它借此甩掉了传统DRAM身上那层周期波动的枷锁。
在AI推理底层范式的刚性约束下，HBM的增长路径几乎是被锁死的：只要GPU还在进化、只要Token的商业化需求还在膨胀，HBM就必须代代翻倍。这种增长不是靠市场情绪推动的，不是靠下游采购节奏拉动的，也不依赖任何宏观周期的配合——它起源于芯片架构的内生需求，这种确定性在任何已知的周期性产业中都极其罕见。
眼下唯一还没人能回答的问题是：三星、SK海力士、美光这三大存储厂，能不能彻彻底底地跳出过去三十年反复踩过的坑——需求一来就拼命扩产、供需一失衡就杀价清库存——用一套全新的供给纪律面对这场AI驱动的HBM指数增长？
这个问题的答案不仅决定这几家存储厂商的股价走向，更直接牵动整个AI算力产业的长期供给稳定性。一个被HBM短缺拖慢的AI产业，是谁都不愿看到的画面。HBM从配角走向主角的轨迹已经完成，而存储产业三十年的周期律能否被改写——这个命题的最终判决，还需要时间来书写。