LLM 推理上限公式：每秒最大 token 数 = 显存带宽 B / 2N
abhijithneil · x · 2026-09-03
作者给出 LLM 推理速度的第一性原理估算：生成每个 token 时，GPU 必须把模型的全部权重从显存读一遍——对稠密模型没有捷径。N 十亿参数按 2 字节算，每 token 需读取 2N GB，因此理论上限为 max tokens/s = B / 2N（B 为 GPU 显存带宽）。实际工程目标就是逼近这个上限的百分比，这为评估推理优化收益提供了基准。
所属事件:显存带宽决定推理上限,一条公式估算 token 生成速度(2 条相关)→
「Infra」频道最新
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21
- 专家警示:企业沉迷 AI 预算,正在忽视云 FinOps 基本功 — DavidLinthicum · 2026-10-21
- 爆料称 DeepSeek 缺的是算力:1GW 集群可训出远强于 V4.1F 的模型 — teortaxesTex · 2026-10-21