斯坦福论文:本地+云端混合路由可省 60%-80% 算力成本
rohanpaul_ai · x · 2026-09-11
斯坦福大学与 Together AI 发布论文《Intelligence per Watt: Measuring Intelligence Efficiency of Local AI》,系统度量本地 AI 的智能能效:
- 混合路由收益显著:本地-云端混合路由相比纯云端批处理基线,能耗、算力与成本降低 60%-80%。
- 能效快速提升:2023 到 2025 年,本地 AI 的 intelligence-per-watt 提升 5.3 倍,可本地处理的查询覆盖率从 23.2% 升至 71.3%。
- 手机效率惊人:同一模型同一精度下,iPhone 16 Pro 的能效约为工作站 GPU 的 7 倍。
- 模型多样性有价值:20+ 个本地模型按查询择优路由后,在 4 个 benchmark 中的 3 个上胜过 3 个前沿云模型。
- 量化精度的取舍:FP16 降到 FP4 可省 3-3.5 倍推理能耗,每降一级精度约损失 2.5 个百分点准确率;某些情况下更大的 FP4 模型可胜过更小的 FP16 模型。
- 短板在难题:最难推理切片上约 95% 的问题本地模型仍无法解决。
所属事件:斯坦福研究：本地云端混合推理可省六至八成成本(3 条相关)→
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28