十周9.9亿token里94.8%是缓存重读,能耗差25倍

Re-Reading Is Not Free: Token Traces and Cache-Aware Energy Estimation for LLM Agents in Software Engineering

Tina Vartziotis, Ketevan Peranidze, Rodopi Kosteli, Ezgi Sarikayak, George Dasoulas, Michael Keckeisen, Sotirios Kotsopoulos, Francesca Dominici

cs.SE, cs.AI

2026-11-16

十周编码日志共9.9亿token,94.8%是缓存重读。计入重读后约250千瓦时,是EcoLogits只计输出的25倍。

这篇在解决什么

单次问答的能耗估计接不住编码 Agent。EcoLogits 的 GPU 能耗只乘输出 token,输入不计。Claude Code 每次工具调用都重送整段对话。prompt cache 免掉重复前缀的 prefill,解码时注意力仍读这些缓存。父日志只留 subagent 的最后一次内部调用。

记录来自一名工程师,2026 年 6 月 9 日至 8 月 18 日:六个工作流,42 个会话,752 个任务,API 累计 9.925 亿 token。模型从 Haiku 4.5 用到 Opus 5,单位包括 TWT、哈佛和 MIT。厂商机器上没有测电。

方法

四类计数:未缓存输入、缓存写入、缓存读取、输出。新鲜量是前两类之和,上下文等于新鲜量加缓存读取。新鲜 token 做完 prefill 并写 KV;命中缓存则跳过,每生成一个 token 仍要读完全部上下文的 KV。重读比初读便宜,开销不为零。转录按内容块重复记账,不去重会放大约 2 倍;续聊副本再多算 28%。

混合估计器在 Vartziotis 等人的解析模型上改入口:prefill 只收新鲜 token,注意力读收整个上下文。机房电、PUE 和隐含碳沿用 EcoLogits。三个情景把缓存当免费、只收注意力读,或当成全新输入。各项随 token 数不减,所以从低到高依次是免费、只读、当新输入。读次数约等于输出长度乘上下文,必须逐请求加总。系数来自 GH200 上 Hopper 微基准,记忆因子拟合 8B 到 72B、500 进 500 出的未缓存请求,误差 5% 到 27%,没有对着这份痕迹重拟合。

闭源模型取登记表活跃参数的上下界,中心值用几何平均,KV 宽按 Llama 3 分组查询注意力取 1024。原验证只覆盖未缓存短请求。比较用参数下界。边界不含客户端工具、网络、训练和空闲机。

结果

主线程 3723 次调用:

类别token占比
缓存读取9.405 亿94.8%
缓存写入4830 万4.87%
输出362 万0.36%
未缓存输入16.8 万0.017%

每生成 1 个 token 约读 260 个缓存 token。未缓存输入加输出只占 0.38%。

上下文跟着会话涨。23 个至少 20 轮的会话里,每轮缓存读取从 7 万 token 涨到 37.2 万,5.3 倍;长会话权重大,等权后是 3.8 倍。86 个至少 10 轮的任务只涨 1.4 倍。输出在会话内 0.9 倍,任务内 0.3 倍。

入账 3829 次请求,美国电网,中心值是上下界的几何平均。

估计能耗碳排放
EcoLogits,只计输出9.89 kWh(7.24-13.5)3.97 kg
混合,缓存免费36.8 kWh(18.5-73.4)15.0 kg
混合,cache-aware248 kWh(105-585)96.2 kg
混合,缓存当新输入456 kWh(232-895)176 kg

248 kWh 对 9.89 kWh,约 25 倍,碳约 24 倍。缓存免费时只剩 36.8 kWh,算上重读把倍数抬高约 6.7,模型其余差别约 3.7。当新输入是 cache-aware 的 1.8 倍,缓存约省 46%。下界上的倍数是 14.5。

下界 IT 能耗里,注意力读占 90%,约 79 kWh,是同口径 EcoLogits(6.6 kWh)的 12 倍。prefill 约 6%。单次能耗与上下文的 Spearman 相关为 0.59,与未缓存输入为 0.34。输出长度固定时,Sonnet 上混合估计散开 14.3 倍,EcoLogits 散开 1.4 倍。

上下文、新鲜量和输出都靠近中位数的一次调用(Sonnet 4.6,新鲜 804、缓存 15.3 万、输出 389)是 0.71 Wh 对 11.5 Wh。这些缓存 token 的注意力读为 3.7 Wh,全新 prefill 再加 9.3 Wh,均在 GPU 下界。

token 不动、只换模型:Opus 是 Haiku 的 10.2 倍,六个工作流都在 9.6 到 10.5 倍。下界为 Haiku 16.9 kWh、Sonnet 92.5、GPT-5.4 为 96、Opus 172、Gemini 2.5 Pro 为 1042,实际混用 105。Gemini 取了 200B 到 600B,已出校准区,这 62 倍排不成效率榜。每任务新开会话后,缓存读取少 76%,248 kWh 降到 97 kWh(少 61%),碳从 96 kg 降到 38 kg。EcoLogits 不变。补回丢掉的信息还要加调用,61% 是节省上限。

746 个有效任务里 5.9%(44 个)用了 subagent。106 次前台委派实为 1334 次内部调用,token 从报告的 597 万到转录中的 5980 万,少 10 倍,单次中位 7.4 倍。能耗只从 4793 Wh 到 7840 Wh(1.6 倍):末次调用上下文最长,内部调用多在 Haiku 4.5,父日志常记成 Sonnet 或 Opus。加上 8 个能恢复的后台任务,下界从 105 kWh 到 110 kWh(约 4.8%)。委派 token 在日志里占 0.6%,真实至少 6.4%。委派若走 Sonnet 或 Opus,这一抵消不再成立。

任务中位 token 从 16.6 万到 83.5 万。轮数、会话位置和主模型解释对数方差的 88.9%,任务标签单独 6.3%。46% 的任务不调工具;Understand 里占 73%,中位仍有 18.2 万 token。

为什么重要

不换模型时,任务之间新开会话或压缩上下文,能把这份混合估计打掉约六成,而且是上限。同一批 token 上,Opus 约为 Haiku 的 10 倍;那是按调用计,小模型可能要更多轮才做完。

日常单位取中心值,下界大约再小 2.4 倍。十周下来,每个工作日 0.19 对 4.9 kWh,一年 43 对 1070 kWh,占美国家庭年用电 0.4% 对约 10%。请求能耗的中位数相对一条聊天提示(0.24 到 0.31 Wh),约为 3 到 4 倍对 60 到 77 倍。

两个数都对不上电表。长缓存上两边都没对过实测。注意力读整项拿掉后,倍数仍有 1.4。拧过的假设里,没有一条让两边重合。token 构成来自账单。

局限与存疑

一名工程师、一个客户端。目录按大约一百万 token 事后目测选入,排除体量没有记录。任务标签是未校验的关键词,Refactor 只有 7 个回合。会话长度、任务难度和上下文压缩没有拆开。

绝对能耗偏高,最不稳的是占约 90% 的注意力项。记忆因子原在 dmodel 宽度、8B 到 72B 上拟合;这里改用 dkv,参数上界到 200B,乘积从约 15 升到约 60。改回 dmodel,总量乘 6.7。Llama 3.3 70B、gpt-oss-20b 和 Qwen3-8B 的解码计时(两张 H100,batch 1)里,每 token 耗时对上下文近线性,R² 从 0.98 到 1.00;缓存去掉 prefill 时间,去不掉逐步成本。按 H100 满功率 26.1 pJ/bit 计价,下界从 105 kWh 降到 33 或 98 kWh。实验最长约 9.3 万 token,痕迹的中位上下文是 15.3 万。

电网用美国年均 384 g/kWh,服务地点未知。同一中心能耗在瑞典是 9.7 kg,在波兰是 147 kg。反事实冻住了已有调用,不说明清上下文或换小模型后任务还能完成。同一客户端的其他用户,作者预期仍以缓存读取为主;别的助手没有测。subagent 少计还跟客户端版本有关。

术语

原文与代码

社区讨论

相关论文

全部论文解读