MiRL：锁定高频错误做 RL,不到 200 环境追平终端 Agent 全量训练
mohitban47 · x · 2026-10-28
研究者提出 MiRL（Misbehavior-driven RL），一种面向终端（terminal）Agent 的「错误靶向学习」后训练方法：先剖析策略在各环境中反复出现的可泛化错误行为，再从错误发生的步骤起步做 rollout，只在通过测试且规避这些错误时给奖励。
关键结果与主张：
- 在基于 Qwen3.5-4B 的终端 Agent 上，8 种主导错误行为占了 52.1% 的错误步骤；
- 用不到 200 个环境、仅 TMax 35% 的 rollout 量，即可追平 TMax-4B 完整训练配方的效果；
- 作者认为该范式对「民主化 Agent 后训练」意义重大：相比在数百环境跑数千次 rollout 的昂贵且不可预测的训练，错误靶向学习让你指定要修的错误、并在训练中直观看到错误消失，是一条可行且低成本的能力提升路径。
所属事件:MiRL 用错误靶向 RL 以 35% 算力追平终端 agent 训练(4 条相关)→
「编程与Agent」频道最新
- LMArena Agent Mode 上线 Connectors：可直连 GitHub、Notion、Gmail 等工具 — arena · 2026-10-28
- 四步 AI 研究工作流:GPT 初稿、Gemini 挑错、GPT 修订、生成播客 — sanderssays · 2026-10-28
- 开发者晒 Remotion 趣味演示：动画图解受约束解码如何按 schema 选 token — nicodotdev · 2026-10-28
- 苹果 Keynote 将推开放 JSON 格式 .keyx，11 月起支持 AI 直接读写文档 — SumitGup · 2026-10-28
- Reddit 网友分享:让 Claude 听音频又不烧掉用量额度的技巧 — Cute-Day-421 · 2026-10-28
- Together AI 携手 Ollama 对谈:开源模型何时更胜一筹 — togethercompute · 2026-10-28