哈佛研究:编码 Agent 94.8% 的 token 是重读旧上下文,能耗高出 25 倍
rohanpaul_ai · x · 2026-11-18
哈佛大学论文《Re-Reading Is Not Free》对真实 AI 辅助开发进行了大规模能耗核算,发现传统「按请求计费」的能耗估算方式严重低估了智能体的真实开销。
核心发现:
- 数据规模:10 周真实 AI 辅助开发,42 个会话、752 个任务片段、近 10 亿 token。
- 94.8% 的 API token 是对已缓存上下文的重读——即智能体处理的内容几乎都是重读历史对话,而非新工作;非缓存输入仅占 0.017%。
- 每生成 1 个 token,就要读取约 260 个缓存 token;会话级上下文增长 5.3 倍,远高于单任务的 1.4 倍。
- 能耗:传统输出导向估算器(EcoLogits)估计整个工作负载约 10 kWh,而论文提出的 cache-aware 混合估算器估计约 250 kWh,相差 25 倍,差距主要来自缓存上下文读取。
结论:评估 LLM 智能体的环境足迹必须超越单次问答的 token 计量,把重复处理累积上下文、缓存复用与子智能体委派纳入核算。
「编程与Agent」频道最新
- 1000+子智能体跑100小时:GPT-6.2 Astra 1:1复刻整个新加坡 — gabrielchua · 2026-11-18
- FastMCP 4.2 上线 Skills over MCP:拖个技能文件夹秒变 MCP 服务器 — HanchungLee · 2026-11-18
- 亚马逊论文:弱LLM评审员会拖垮搜索,收益仅0.005 AUC — rohanpaul_ai · 2026-11-18
- OpenAI 内部秘密:工程师用 Astra for Law 写 PRD 和设计文档 — sherwinwu · 2026-11-18
- 用 START-HERE.md 给 Agent 当导航地图:5 个 Hermes 记忆技巧 — tomcrawshaw01 · 2026-11-18
- 一张画变 30 米行走机器人:AnyMachine 用 agent 造出 160 部件机械 rig — bennash · 2026-11-18