开发者用 Claude+Grok+Codex 组队做三轮代码评审复盘

PawelHuryn · x · 2026-11-04

独立开发者 Pawel Huryn 分享了他正在开发的 evals 产品的三轮 AI 评审实践：由 Claude 协调、Grok 评审、Codex 修复的多智能体工作流。

评审结构：每轮拆成 A（数据/权限/资金）和 B（界面/文案）两位评审，Grok 只针对变更部分运行，每轮 17-29 分钟。
战果：首轮 8 个 High、9 个 Medium；抓到的问题包括"已验证"的评估器复用了已见 verdict 而非判定隐藏用例（违背产品诚实数字的承诺）、首个 coding-agent run 重试即整批失败、空数据集显示"Run it"、404 链接等。
误判教训：13 个 High 中有 5 个是可通过刻意探测发现隐藏 final check 的侧信道问题，作者照单全收花了两个修复周期去堵，最终用一条简单规则解决：在用户阅读/标注的页面上不显示 per-trace verdict。
性价比观察：一次约 20 分钟的新手走查发现了最大的可用性缺口（没有展示失败频率）；人工截图巡检发现了 13000px 长页面等问题；门禁发现 Codex 写了 9 个跑不了的集成测试。
成本：build 完成后约 4 小时墙钟时间，每轮修复周期约 1 小时。今后将按"对诚实用户的真实影响"分级，可被刻意钻空的问题算 Low 而非发布阻塞项。

「编程与Agent」频道最新