结论前置：推理芯片的带宽瓶颈通常先于算力出现

在多数推理场景中，决定单卡吞吐的不是峰值算力，而是显存带宽能否持续喂饱计算单元。看球网技术解读栏目在梳理公开规格书时发现，同一代架构下，带宽提升往往比算力提升更能改善小批量、低延迟推理的实测表现。因此先算带宽、再看算力，是更稳妥的选型顺序。

需要说明的是，本文涉及的数值均为方法示例，具体芯片请以厂商公开规格书为准，看球网不做未公开数据的推测。

第一步：把带宽需求拆成三个可算的量

带宽需求可以拆成权重读取、激活读写与KV缓存三部分，三者相加才是持续带宽压力。很多评估只算权重，结果低估了长上下文场景的实际压力。

  • 权重读取：模型参数量乘以每参数位宽，再乘以每秒需要处理的批次数。位宽从FP16降到INT8，权重带宽需求近似减半，这是量化最直接的收益来源。
  • 激活读写：与批大小和层数相关，中间张量需要写回再读出，批越大这部分占比越高。
  • KV缓存：随上下文长度线性增长，长上下文推理中它可能超过权重成为主要带宽消耗方。看球网在术语百科中对KV缓存有单独条目，可配合理解。

把三项折算成每秒字节数，再与芯片标称带宽对比，得到的比值就是理论带宽利用率上限的粗略估计。

第二步：用利用率修正理论值

标称带宽是理想峰值，实际可达比例受访问模式、bank冲突与缓存命中影响。工程上常用一个经验系数做修正，而不是直接拿峰值做除法。

  • 连续大块访问的利用率通常高于随机小粒度访问，权重读取一般比激活读写更友好。
  • 批大小过小时，单次访存的有效载荷偏低，利用率会明显下降，这也是小批量延迟敏感场景更依赖高带宽的原因。
  • 多卡互联场景下，跨卡通信会占用部分有效带宽，评估时应把互联开销单列，而不是混入单卡带宽。

看球网建议读者建立自己的修正系数表，按模型类型和批大小分别记录，长期积累比单次估算更有价值。

第三步：把带宽结论落到选型判断上

算出需求后，选型判断可以归结为三个问题：带宽是否够、容量是否够、互联是否匹配。三者缺一都会让带宽数字失去意义。

  • 带宽够但容量不足，会导致模型无法完整驻留，需要频繁换入换出，实际有效带宽反而下降。
  • 容量够但互联不足，多卡扩展时通信成为瓶颈，单卡带宽优势被抵消。
  • 先进封装带来的带宽提升通常伴随成本与功耗变化，评估时要一并纳入总体拥有成本，而不是只看峰值数字。

看球网技术解读栏目会持续用数据方式拆解这类问题，读者可在安卓、苹果iOS、Windows电脑版与Mac电脑版客户端中同步查看参数库与术语百科，形成系统化的判断框架。数据是起点，修正系数和场景假设才是结论可靠与否的关键。