四参数定律预测 LLM 推理能耗:R²达 0.969,横跨五大模型家族
ecs-lab · hf · 2026-11-06
博洛尼亚大学与 CINECA 团队提出 SIMPLE Law，一个四参数解析定律，用架构超参数直接预测 LLM 推理能耗，无需逐模型拟合，将 prefill（解码）与 decode（KV-cache 及下一 token 计算）成本分离。
关键发现：
- 在 NVIDIA H100 上验证 13 个模型（OPT、LLaMA、Gemma、Falcon、Qwen2、Granite 六家族），R²=0.969，MAPE 11.97%，比逐模型拟合的 SOTA 好 3.1–3.5 倍；
- 推理能耗随隐藏维度呈二次方增长，大模型长输入最受伤；
- 更激进的 GQA KV 分组可使每 token 能耗比标准 MHA 降低至多 3 倍；
- 推理 token 预算驱动能耗超线性增长：准确率随预算提升但能耗更快，Intelligence per Joule 在中间预算达到峰值，4 倍推理预算时下降至多 3.14 倍。
「Infra」频道最新
- 单卡 RTX PRO 6000 跑 Ripple-65B：代码 110-120 tok/s 实测 — DZhang50 · 2026-11-06
- NVIDIA 开源 cuRoboV2-Fast：机器人运动规划从 100ms 压到 4.4ms — ankurhandos · 2026-11-06
- 单卡 3090 跑 DeepSeek-V4.1-Flash:Delta 引擎 v0.93 达 41 tok/s — musicurgy · 2026-11-06
- 印度监管开放手机直连卫星，Starlink 直连模式获政策利好 — XFreeze · 2026-11-06
- 开发者抢不到 A10g 实例，GPU 算力需求依然紧俏 — generativist · 2026-11-06
- Writer 论文：多层索引器让 DeepSeek 稀疏注意力解码提速 — Writer · 2026-11-06