哈佛论文:编码 Agent 94.8% token 是重读缓存,能耗高 25 倍
rohanpaul_ai · x · 2026-11-18
哈佛新论文对一名工程师 10 周真实 Claude Code 使用做了实测:约 10 亿 token、42 个会话,发现编码 Agent 处理的文本中 94.8% 是对缓存上下文的重读,而非新工作。
论文要点:
- 作者构建了一个缓存感知的能耗估算器,对缓存 token 只计注意力读取成本,不计完整重处理;而传统估算(如 EcoLogits)按单次请求-响应计价,会漏掉 Agent 逐轮重读增长上下文与子 Agent 转交的成本。
- 每生成 1 个 token 平均读取约 260 个缓存 token,单个会话内上下文增长 5.3 倍。
- 缓存感知估算 10 周能耗约 250 kWh,而基于输出的传统估算仅约 10 kWh,相差约 25 倍。
实用建议:追踪 Agent 成本或碳排放时要计入缓存读取与子 Agent 调用;可能的话在新会话中开启新任务以控制上下文增长。
「Infra」频道最新
- 法国团队弃用 vLLM/PyTorch 改写 Rust+CUDA,单 GPU 推理性能暴涨 — IgorCarron · 2026-11-18
- Qwen4-Max 登陆 DeepInfra:1M 上下文,输入 $1.4/M 起 — gharik · 2026-11-18
- TensorScale 新首页实时演示推理全流程,对标主流托管商提速 — TerryTangYuan · 2026-11-18
- 苹果多服务大面积宕机,员工爆料总部办公室也全部断网 — evilsocket · 2026-11-18
- Together AI 对谈:如何打造一个前沿的本地化编程模型 — togethercompute · 2026-11-18
- TensorScale 重建生成式模型 AI 基础栈,新官网上线并开放 5 个职位 — TerryTangYuan · 2026-11-18