8 类错误占 52% 失败步骤，MiRL 用 35% 算力训平 Terminal Agent
mohitban47 · x · 2026-10-28
研究者提出 MiRL（Misbehavior-driven RL），一种针对终端 agent 的错误驱动强化学习方法。
核心发现：
- 终端任务的错误高度集中：仅 8 类反复出现的 misbehavior 就占全部错误步骤的 52.1%
- MiRL 先对策略做错误画像，找出跨环境复现的「可泛化错误」，再从这些错误发生的步骤直接启动 rollout 做 RL，只有通过测试且规避该错误才给奖励
- 相比在整条轨迹上浪费 RL 算力，定点纠错更高效：只用 189 个训练环境、35% 的 rollout 量，就在 Terminal-Bench Lite 上超过 TMax-4B，在 Terminal-Bench 2.1 上与之持平
结论：找到「在哪错、错什么」有时比堆更多数据更重要。
所属事件:北卡团队发布 MiRL：错误驱动 RL 高效训练终端智能体(3 条相关)→
「编程与Agent」频道最新
- 玩家用 Claude 跑《一拳超人》版《辐射4》，20天烧掉270亿token花3240美元 — imjustnewatai · 2026-10-28
- 粗基线击败 7 项中的 6 项 Agent 记忆系统，先跑它再谈管线 — JeremyCMorgan · 2026-10-28
- 微软分析16万条Reddit帖，归纳出23类AI代理委派失败 — dair_ai · 2026-10-28
- LangSmith 上线缓存命中率追踪，量化 agent 省钱效率 — LangChain · 2026-10-28
- AI 放大创业公司优势：人均工时更长、风险容忍更高、更少协调成本 — yenkel · 2026-10-28
- MOSS-Image 生态周报：ComfyUI 0.43、QwenVL 布局节点与多款风格 LoRA — optimisticalish · 2026-10-28