斯坦福新指标:混合本地-云路由省 60-80% 成本与能耗
rohanpaul_ai · x · 2026-09-11
斯坦福大学联合 Together AI 发布论文《Intelligence per Watt: Measuring Intelligence Efficiency of Local AI》,作者含 Christopher Ré、John Hennessy 等。核心内容:
- 提出 IPW(每瓦智能)指标:用「本地小模型对前沿模型的胜率 ÷ 单位功耗」统一衡量本地推理的能力与效率。
- 评测了 20+ 个本地 SOTA 模型(≤20B 激活参数)、8 种硬件加速器(本地与云端)、100 万条真实单轮对话与推理查询。
- 关键发现:混合本地-云路由相比批量云基线可降低 60%–80% 的能耗、算力与成本。
- 2023 到 2025 年,本地 AI 的 intelligence-per-watt 提升 5.3 倍,可本地服务的查询覆盖率从 23.2% 升至 71%+。
结论指向:随着小模型与端侧加速器(如 Apple M4 Max)进步,本地推理可切实分担云端基础设施压力。
所属事件:斯坦福研究：本地云端混合推理可省六至八成成本(3 条相关)→
「Infra」频道最新
- 曝 SpaceX 2027 或成最大 VR200 买家：2 万机架约 3000 亿美元 — bookwormengr · 2026-10-28
- MySQL 递归 CTE 在 5 亿行下超时，图数据库 23.6ms 完成同查询 — JeremyCMorgan · 2026-10-28
- OpenRouter 周token量一年涨27倍至165万亿，开放模型占72% — FinanceYF5 · 2026-10-28
- AI 行业豪赌:多年锁定算力采购,按 token 卖智能,风险谁来扛 — vaibhavbetter · 2026-10-28
- OpenAI 员工放言：算力决定国运，美国已锁定胜局 — willdepue · 2026-10-28
- 马来西亚数据中心总容量与设施数均已超新加坡,规划容量约 10 倍 — bytebot · 2026-10-28