模型不擅长审自己的代码：各模型bug类型与交叉召回数据
bibryam · x · 2026-10-24
Greptile 与 Michael Cutler 讨论模型代码审查的盲区与度量方法。配图数据显示：Claude 与 Codex 的 bug 分布集中在缺失行为（35.1%/24.2%）、语义意图（21.4%/27.4%）、错误处理（18.4%/22.6%），而安全、性能、构建失败占比较低；在审查召回上，各模型最擅长抓住对方生成的 bug，如构建失败类别 GPT 5.5 达 82.4%、Opus 4.7 为 58.8%。
Cutler 的博客提出一套度量 agent 工作人力成本的方法论：
- 先定义任务：选定一类有界任务（bug 修复、研究笔记等），写下准入规则，登记全部任务而非只挑值得分享的。
- 以业务任务为单位：一次拒绝加两次修改算一个任务三次尝试，新开对话不重置累计成本。
- 记录每次尝试的处置：接受/拒绝/未审查，附理由与证据；核心问题是每完成一个合格任务消耗多少人力与 token 花费。
「编程与Agent」频道最新
- Trail of Bits 开源 Claude Code 技能，扫描隐藏 Brotli 漏洞副本 — banteg · 2026-10-24
- bunny 内部达成:任意游戏任意网络任意平台回放框架初步跑通 — banteg · 2026-10-24
- AI Agent 自动读取 402 状态码,在 Base 上打赏 0.01 USDC 小费 — lrettig · 2026-10-24
- 对 Codex 失望，让 Codex 自己写 handoff 文件转交 Claude — lxfater · 2026-10-24
- 纯 Rust 地理空间库 terrio v0.5.0 发布：告别 GDAL 依赖 — giswqs · 2026-10-24
- 16 个 AI agent 无目标自发形成文化，还做了汇报展示 — rosstaylor90 · 2026-10-24