开发机构分享 Claude Code harness 评测方案:冻结规格+盲测+holdout 测试

DevFizzah · reddit · 2026-11-17

一家开发机构围绕 Claude Code 搭建了内部 agent harness(接收带编号验收标准的结构化 spec,自动构建中小型 web 应用直至部署预览,人工只在少数检查点介入),并开源征询如何客观对比 harness 版本 A/B。

他们的评测方案包括:

作者还提出 5 个开放问题:holdout 集如何避免泄漏进 agent 上下文、有无比「下次改动多痛苦」更好的代码质量度量、LLM 评审如何校准、需要多少次运行才能让方差收敛、哪些指标实践中被证明无用。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →