过程分不只打分还能驱动修复：失败轨迹重跑平均提升 0.155
omarsar0 · x · 2026-09-04
omarsar0 介绍 TRACES 的双验证器设计与修复闭环。每个 run 由两个验证器打分：outcome verifier 只对照隐藏真值查结果、不看过程；process verifier 只审查记录的操作、错误与修正、不看结果分和是哪个 solver——类似「单元测试加代码评审，且评审者不知道测试是否通过」。当过程验证器判定某 run 不合格，诊断会变成修复笔记，solver 在不看答案的情况下重试同一任务。据 Apodex 报告的评测，434 条被判不合格的轨迹在修复重跑后平均提分 0.155。
所属事件:Apodex 发布 TRACES 基准：评测 AI 探索未知的能力(9 条相关)→
「编程与Agent」频道最新
- MCP 平台 NitroStack 登顶 Product Hunt 每日第一，聚焦留存与开发者访谈 — EstablishmentFun4373 · 2026-10-21
- CodeRabbit 团队周发 5000 个 PR：机器造机器，招人先看策略游戏时长 — omojumiller · 2026-10-21
- LukeW 总结智能体软件五大 UI 难题:多智能体监控与协作设计 — LukeW · 2026-10-21
- 用 Claude Code 经 ADB 清理安卓电视:删 11 个应用、可用内存涨 90% — edwinarbus · 2026-10-21
- 小米电视被广告件拖到卡顿,开发者用 Claude 一键救回流畅 — edwinarbus · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21