实测:一段 code-review skill 让三个模型多修 4~13.5 个隐藏 bug
PawelHuryn · x · 2026-10-17
Pawel Huryn 公布了他的 code-review skill 在 Bug Hunt Bench 上的实测结果:两个真实代码库中预埋 105 个 bug,盲评打分,同一模型、同一工作量、同一评审,唯一变化是把他 pm-ai-shipping 集合中的 code-review skill 加进 prompt——它让模型在报告每条发现前先尝试反驳自己。
结果(带 skill 后修复数/105):
- GPT-5.6 Sol:43.5 → 57(+13.5),耗时 253→454 分钟,成本 $95.35→$143.39
- Grok 4.6:28.7 → 34(+5.3),43→62 分钟
- Opus 5:27 → 31(+4),60→117 分钟,成本 $51.33→$88.46
关键发现:
- 三个模型全部提升,最强模型获益最大
- 代价是钱 1.5-1.7 倍、时间 1.4-2 倍
- skill 每个配置只跑一次,重复跑中位差 5/105(最大 17),应看方向而非精确增益
- 不用 subagent,单模型单上下文,skill 直接贴进 prompt
skill 本身不点名具体 bug,而是把模型注意力聚焦到它们常漏的 bug 类别上。
所属事件:Pawel Huryn 开源 pm-ai-shipping，实测显著提升 AI 代码审查(2 条相关)→
「编程与Agent」频道最新
- 实测 Hermes Agent 接入 n8n:让 Agent 直接执行自动化工作流 — techlatest_net · 2026-10-23
- OpenAI 建议 MCP 服务器指令控制在约 1000 字符内防截断 — bibryam · 2026-10-23
- OpenAI 数据：仅约 56% 的 MCP 服务器提供了 instructions 字段 — bibryam · 2026-10-23
- OpenAI 建议 MCP 工具勿藏在调度器后，应逐一暴露清晰动作 — bibryam · 2026-10-23
- Resend 单月 100 万次 MCP 调用,OpenAI 视 MCP 为分发渠道 — bibryam · 2026-10-23
- MCP Elicitation 落地 Claude:服务器可在执行中向用户提问 — bibryam · 2026-10-23