LLM每token能耗或已低于人脑
jd_pressman · x · 2026-07-21
这条帖在讨论：LLM 推理按每个 token 计算，能耗可能已经低于人类“推理”，至少在短上下文输出上如此。
- 图中给出一个粗略估算：基于 Epoch 的约 48,000 个 NVIDIA NVL72 机架、约 5.8 GW 机架功率，按输出能力折算，得到大致：
- 短上下文：0.3 J/token
- 中等上下文：1 J/token
- 长上下文：12 J/token
- 作者提醒，机房冷却和供电损耗会让这些数字更高一些，但短输出场景下的结论大体不变。
- 对比人脑时，按帖子里的 12W 和 3–4 tokens/s 估算，约为 3–4 J/token；按更常见的 20W 全脑预算 估算，则约为 5–7 J/token。
- 因此作者认为：现代批处理推理在短上下文场景下，已经可能比“人类推理”更省能；但超长上下文推理仍略差。
- 另外，图里还补充了一个重要限定：Kimi K2.6 虽然有 1 万亿存储参数，但每个 token 实际只激活 320 亿参数，不是引用里假设的约 3600 亿活动参数。
所属事件:Epoch AI：单次 LLM 查询能耗已低于人脑推理(2 条相关)→
「Infra」频道最新
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- 曝 Anthropic 与 SpaceX 签算力大单:每月 31 亿美元,至 2029 年共 1205 亿 — ns123abc · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27