过程分不只打分还能驱动修复:失败轨迹重跑平均提升 0.155
omarsar0 · x · 2026-09-04
omarsar0 介绍 TRACES 的双验证器设计与修复闭环。每个 run 由两个验证器打分:outcome verifier 只对照隐藏真值查结果、不看过程;process verifier 只审查记录的操作、错误与修正、不看结果分和是哪个 solver——类似「单元测试加代码评审,且评审者不知道测试是否通过」。当过程验证器判定某 run 不合格,诊断会变成修复笔记,solver 在不看答案的情况下重试同一任务。据 Apodex 报告的评测,434 条被判不合格的轨迹在修复重跑后平均提分 0.155。
所属事件:Apodex 发布 TRACES 基准:评测 AI 探索未知(8 条相关)→
「编程与Agent」频道最新
- 开源 ffmpeg-skill:让 Claude Code 本地读懂自然语言剪视频 — TheMoonMidas · 2026-09-05
- Refero Styles 把 2000+ 真实产品设计系统做成 DESIGN.md,免费供 AI 编码使用 — victor_explore · 2026-09-05
- 把 agent 搬进 Slack:Every 团队用它端到端操办会议发布 — danshipper · 2026-09-05
- 一句「我有个 Parallels 里的 Windows」就能让 agent 用上虚拟机 — mitsuhiko · 2026-09-05
- Claude for SEO 开源上线:免千元订阅,已有 1000 star — matchaman11 · 2026-09-05
- 给 Agent 设预算上限:Shumer 分享按任务控制 token 花费技巧 — mattshumer_ · 2026-09-05