CMU 论文:System One 模型多数错误动作源于「读对了却做错了」
CarnegieMellonU · hf · 2026-10-14
CMU 发布论文《Reading Right, Acting Wrong》,研究 System One(单次打分选动作)模型在 agent 循环中的决策失败模式:模型到底是没读懂状态,还是读懂了仍然做错?
方法上,作者在涵盖模拟环境、客服策略、工具调用、网页导航与编程的冻结基准上,把每个「下一步动作」问题与关于同一状态的事实探针配对、独立作答。
核心发现:
- 测试 17 个快速系统与 1 个推理模型后结论一致:大多数错误动作发生在正确读取之后,且系统越准确,这类错误占比越高;
- 这些错误并非噪声,而是跨不同系统聚集在相同状态上;
- 当事实可证明地决定动作时,模型即便读全了事实也难以组合它们——而用代码组合模型自己的答案即可修复失败;
- 在真实状态中,缺失的往往不是事实,而是下一个子目标。
「编程与Agent」频道最新
- FactoryAI 推出 OpenCompute:在自有 VPC 内自托管 agent 沙箱编排器 — annbordetsky · 2026-10-15
- shadcn 点赞 Claude Code「Pin as chapter」:对话长文可钉成章节 — shadcn · 2026-10-15
- 团队发布 Gemini 4 Argon 四份开发指南:含 1M 长输出与 3D 游戏 — patloeber · 2026-10-15
- 开发者推出 IntelliJ 版 Anthropic 风格配色主题 — therealdanvega · 2026-10-15
- uv 拆成 14 个 crate,增量编译提速 30-43% — charliermarsh · 2026-10-15
- Vercel 实测:简单文件系统打败多智能体,附 19 个 Agent 开源工具 — MaryamMiradi · 2026-10-15