Humans are Missing from AI Coding Agent Research
Zora Z. Wang, John Yang, Kilian Lieret, Alexa Tartaglini, Valerie Chen, Yuxiang Wei, Zijian Wang, Lingming Zhang, Karthik Narasimhan, Ludwig Schmidt, Graham Neubig, Daniel Fried, Diyi Yang
cs.HC, cs.AI, cs.SE
2026-07-04
四校 13 人立场论文:编程 agent 瓶颈已从解题能力转向对齐、可控、可验证、可适应四个交互维度。
编程 agent 研究的目标这几年高度收敛:更难的 benchmark、更长的任务链、更高的成功率。路线有效,但 CMU、Stanford、Princeton、UIUC 四校 13 人联名的 position paper 判断边际收益在缩水,瓶颈换了位置:模型写得出「看起来对」的代码,卡住的是人怎么把意图说清、怎么验证产出、怎么中途纠偏、怎么让教训留到下次。
直接证据是 patch bloat(补丁膨胀):在 SWE-bench Verified 上,九个模型从 Devstral 到 GPT-5.2 High,成功补丁长度全部是人工金标的 1.2 到 2 倍,高分模型也不例外。补丁越长,人审越贵,「能过测试」和「能用」之间的裂缝就在这里。真实开发从来不是 one-shot,目标是流动的,监督是持续的。
「以人为中心」被拆成四个可计算的交互维度,对应一次协作循环的四个阶段。
公共瓶颈是基础设施:意图、判断、干预这些人类行为分布没有开源管线能规模化采样。提案包括用 GitHub 交互数据训练有偏好的用户模拟器、把 CUPS 和 PULSE 这类 HCI 指标移植进训练、承认 coding agent 已是通用 agent,浇花、管智能家居这类任务里四个维度天然齐全。
立场论文没有主实验,支撑数字如下:
| 证据 | 数字 | 设置 |
| patch bloat | 1.2–2.0× 金标长度 | SWE-bench Verified,9 个模型 |
| 工具采用率 | 84% | Stack Overflow 2025 调查 |
| 信任缺口 | 近半不信任;三分之二称调试更重 | 同上 |
| 交互数据 | 每天 4 亿+ 次接受/拒绝决策 | Cursor Tab RL |
| 跨任务迁移 | 850 个 Django 任务,零积累 | SWE-bench |
没有与任何基线方法的对照,四个形式化定义也没有被真实系统优化过。
对做 agent 产品的人,这是一张诊断清单,四个维度都能翻译成产品指标:多少轮对齐、干预后轨迹改了多少、人机判断一致率、第 k 次会话比第一次好多少。可计算,才能进实验和训练目标。
对研究者,议程具体:用户模拟器、交互数据基建、超越 unit test 的验证。工业界已在做,Copilot Arena 的 IDE 内偏好信号与静态基准排名明显分叉,Cursor 从每天 4 亿次决策发现「什么时候建议和建议什么同样重要」,这种信号 pass@k 看不见。
这是议程设定,不是能力突破。
自认的:四个维度未必穷尽,安全、主动性被归为派生属性放进附录;用户模拟器「行为同质、过分配合」,加 prompt 解决不了;公式依赖的人类行为分布尚无来源,先有鸡还是先有蛋。
存疑的:补丁更长导致人审更慢更错,这一步只有直觉没有测量;对「AI 将写 90% 代码」的反驳,即人的努力上游移到规格与评估,是论证不是证据。方向可能对,时间尺度没人知道。