CMU 与 JetBrains 研究：token 花费翻倍仅换来约 10% 提交增长
rohanpaul_ai · x · 2026-11-12
Carnegie Mellon 与 JetBrains 的论文《The AI Era's Lines of Code?》研究了 token 消耗能否衡量工程师生产力：
- 数据：追踪 404 名 JetBrains 工程师 5 周的 coding-agent token 使用与 commit 关联，并分析 412 名员工问卷，技术岗近 9 成场景将 agent 用于编码之外（分析、研究、规划）。
- 核心发现：同一名工程师 token 花费翻倍仅对应约 10% 的 commit 增长；在 commit 数相近的周里，第 90 百分位的花费是第 10 百分位的 39–240 倍。
- 解释力有限：可用工作指标仅解释工程师间 38%、个人周间 13% 的花费差异。
- 结论：token 花费衡量的是「用了多少 agent」，而非产出与价值；企业应只将其用于预算核算，评估 agent 辅助工作应基于任务与结果证据。
目前已有公司用 token 花费定预算、评绩效甚至排名 top 用户，这项研究直接挑战了这种做法。
所属事件:CMU 研究称 token 花销翻倍仅带来约 10% 提交增长(2 条相关)→
「编程与Agent」频道最新
- Cloudflare 自训小模型 Clef 做混合路由:6 次 LLM 调用降到 1 次 — TheTuringPost · 2026-11-12
- 前 Meta 视觉研究员花两年打造视频 Agent AdaL v2:聊天生成剪辑全流程 — Scobleizer · 2026-11-12
- chrisalbon：别给我看一条 prompt 的成果，看三个月一千条 prompt 的活 — chrisalbon · 2026-11-12
- 让 Agent 干 36 小时：完整替换 Gazebo 的 Ogre 渲染引擎 — facontidavide · 2026-11-12
- 开源 Guardian:把人工审批绑定到单次工具调用的哈希上 — manofstyle04 · 2026-11-12
- Sentry 开源 tattletale:把 Claude Code 会话遥测送进追踪分析 — zeeg · 2026-11-12