60/60 全跑完却 0/60 正确：Agent 执行成功不等于结果可信
DMAE1133 · reddit · 2026-09-19
一位 Agent 基准评测开发者在同模型消融实验中撞上一个被普遍低估的失败模式：执行成功不等于结果正确。
- 60/60 任务全部执行完成
- 60/60 拓扑正确激活
- 但产物中正确答案为 0/60
核心结论：execution success != correctness，self evaluation != independent verification。让同一个模型自己判断输出是否有效并不可靠，模型拓扑不是信任边界。
他正转向更严格的责任分离架构：
- 生成：Agent 产出候选补丁或动作
- 执行：在受控环境中运行
- 验证：外部检查构建、测试、静态检查等证据
- 失败分类：候选失败与环境/运行器失败分开归因
- 证据回执：记录跑了什么、通过/失败什么、哪些未验证
在 302 个单元的跨供应商配对评测中，采用门控的设置在 HotpotQA、MATH 500/AIME、MMLU 上录得正向提升，但同模型对照也出现负向案例——这让他对无外部验证的 debate/ensemble 循环越来越怀疑。目标架构是：单 Agent → 外部验证 → 仅在证据不足时升级人工。作者正在将这些打包为 AdaptOrch（已声明利益相关）。
「编程与Agent」频道最新
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04