实测 Anthropic code-review skill:Opus 5.5 多修 5.5 个 bug 且成本反降
PawelHuryn · x · 2026-10-17
Pawel Huryn 发布 Bug Hunt Bench 实测:在两个真实代码库中预埋 105 个 bug、盲评打分,同一 Opus 5.5 在 high 档下用与不用 Claude Code 内置 /code-review skill 对比。
- 修复数:不用 skill 平均修 32.0/105,用 skill 后 37.5/105(+5.5),且两次带 skill 的成绩均超过三次不带的成绩
- 成本:带 skill $15.00 vs 不带 $22.25,大代码库上模型调用更少更小
- 额外发现:带 skill 时修的非预埋真实 bug 为 24 vs 10.7(翻倍,不计分)
- 细节:high 档 skill 在单 agent 内跑 8 个审查角度(逐行扫描、行为移除、调用方/被调方等),每类最多 6 个候选再去重修复;不开 subagent,验证步骤只在 max 档
- 样本局限:带 skill 两次、不带三次,同一配置重复运行中位差异达 5/105
作者还提到自制的改进版 /code-review skill(不点名具体 bug,而是聚焦模型常漏的 bug 类别),并计划用允许 subagent 的设置再对比 Anthropic 官方版。
「编程与Agent」频道最新
- shadcn 感叹 Anthropic 内部模型进展惊人,求早期访问权限 — shadcn · 2026-10-17
- Perplexity 自研 pplx-decider 零重排监督训练，附内部评测 prompt — bo_wangbo · 2026-10-17
- 2026 年已有超 2 万个 agent harness,单个 2 天冲到 9.5 万 — jasonkneen · 2026-10-17
- 语音 AI 产品负责人长文:Jev 类分类器模型在电话机器人里的真实定位 — VladimirSamukov · 2026-10-17
- AI 推理账单降 95%:Featherless AI 四步削减大规模 token 成本 — AI Engineer · 2026-10-17
- Tailscale 代码里藏西里尔字母 ж，专防误改内部变量 — mitsuhiko · 2026-10-17