CMU 论文:工程师 token 花销只衡量用 AI 多勤,不衡量产出
rohanpaul_ai · x · 2026-11-12
卡内基梅隆大学与 JetBrains 的新论文《The AI Era's Lines of Code?》研究了「工程师的 token 花销到底衡量了什么》这一问题。
- 背景:不少公司现在用工程师的 coding agent token 消耗来设定预算、评估生产力,甚至给用量最高的工程师排名。
- 方法:此前没有研究同时追踪同一批工程师的 token 花销与代码产出,该研究将 5 周的 coding agent token 用量与 404 名 JetBrains 工程师的 commit 数据关联起来。
- 结论:token 花销反映的是工程师使用 AI agent 的程度,而非实际交付(ship)的产出——正如代码行数不能衡量生产力一样,token 花销正在成为 AI 时代新的误导性指标。
所属事件:CMU 研究称 token 花销翻倍仅带来约 10% 提交增长(2 条相关)→
「编程与Agent」频道最新
- Continual-ARC 基准:主流 agent 均无法从经验中学习,9B 小模型微调反而做到 — alifcoder · 2026-11-12
- Gemini Decisions API 发布:150-250ms 返回是非/多选/评分三类决策 — _philschmid · 2026-11-12
- 前 Meta 视觉研究员花两年打造视频 Agent AdaL v2:聊天生成剪辑全流程 — Scobleizer · 2026-11-12
- chrisalbon:别给我看一条 prompt 的成果,看三个月一千条 prompt 的活 — chrisalbon · 2026-11-12
- 让 Agent 干 36 小时:完整替换 Gazebo 的 Ogre 渲染引擎 — facontidavide · 2026-11-12
- 开源 Guardian:把人工审批绑定到单次工具调用的哈希上 — manofstyle04 · 2026-11-12