把评测 harness 当代码管:一套 CI 化的本地模型回归方案

AKAMA199 · reddit · 2026-10-14

作者总结了自己为本地模型搭建评测 harness 时的三个长期痛点与对策,并整合成一套 CI 流程:

冻结任务集:从真实工作中取 10-20 个场景(近期失败案例 + 当前通过项),断言决策而非措辞,避免测试因文案变化而误报。
每次改 rules/prompt 都视为候选:旧代码树与候选代码树用同一模型跑同一批冻结任务,候选必须「跑赢」才能上线。
由运行时写回执:每条推理响应附带运行时生成的 id(作者用 reef 的 x-reef-agent-record-id 头),失败/修复/测试通过等反馈挂到具体调用上,作为候选打分依据——日志只有运行时写的才算数。
只发布赢家:候选通过才作为 release 被 harness 引用,回滚就是 checkout 上一个通过版本。

作者强调第 4 步最常被跳过:大多数人的测试套件「跑一下但决定不了什么」,只有当它决定什么能上线时才真正有用。全程无需 GPU,模型固定,harness 就是文件。

「编程与Agent」频道最新