开发机构分享 Claude Code harness 评测方案:冻结规格+盲测+holdout 测试
DevFizzah · reddit · 2026-11-17
一家开发机构围绕 Claude Code 搭建了内部 agent harness(接收带编号验收标准的结构化 spec,自动构建中小型 web 应用直至部署预览,人工只在少数检查点介入),并开源征询如何客观对比 harness 版本 A/B。
他们的评测方案包括:
- 冻结黄金 spec:5–10 个,最好复刻过往客户项目
- holdout e2e/API 测试:由人从同一 spec 编写且不暴露给 agent,核心指标是「false-ready」率——agent 自己的测试全绿但 holdout 失败
- 可变性测试:构建完成后由固定的基线 agent(裸 Claude Code)执行 2–3 个变更请求(如换支付服务商),测量回归、diff 大小和 token 消耗,以反映代码质量
- 双盲成对评审:按 rubric 对两次运行做盲评
- 每配置至少跑 3 次:报告中位数和 pass^k 而非最好成绩
作者还提出 5 个开放问题:holdout 集如何避免泄漏进 agent 上下文、有无比「下次改动多痛苦」更好的代码质量度量、LLM 评审如何校准、需要多少次运行才能让方差收敛、哪些指标实践中被证明无用。
「编程与Agent」频道最新
- 用 AI 造个短链服务,连环追问系统设计每一层短板 — cneuralnetwork · 2026-11-17
- Clare Liguori 将主持 AWS reInvent 开发者主题演讲,11 月 30 日开播 — FlolightC · 2026-11-17
- VS Code 宣布 2027 年 2 月移除旧 Local agent harness,由 Copilot harness 接替 — Formal-Grass-3173 · 2026-11-17
- 开发者推出 Courio:让 AI agent 通过 MCP 给全球地址寄真实信件 — benoittallandier · 2026-11-17
- Claude 逆向视频风格 skill 走红,新竞品提速 20 倍、SSIM 0.96 — toolstelegraph · 2026-11-17
- 数月后重试 Amp Code,开发者直呼体验完全不同终于懂了 — g3off_who · 2026-11-17