MiRL 论文:错误靶向 RL 让终端 agent 重复犯错减少 43-57%
_akhaliq · x · 2026-10-28
北卡团队(Runchu Tian、Mohit Bansal 等)发布 MiRL(Misbehavior-driven RL),把「错误靶向学习」引入终端 agent 训练。
- 方法:先对策略的错误做画像,找出跨环境复现的「misbehavior」(泛化的错误模式);再从这些错误发生的步骤启动 rollout 做 RL,只有通过测试且避开该错误的 rollout 才给奖励
- 关键发现:在 Qwen3.5-4B 上,8 类 misbehavior 占了全部错误步骤的 52.1%
- 效果:训练后策略在未见前缀上的重复犯错平均减少 43%57%;Terminal-Bench Lite 上以 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上打平(21.3% vs 20.6%),且 rollout 用量只有后者的 35%
论文指出,已有错误分析多用于评测和调试而非训练,已有错误靶向方法只面向单轮任务;MiRL 证明错误靶向学习可应用于真实的长程终端任务。
所属事件:MiRL 论文：错误靶向 RL 让终端 agent 少犯错(2 条相关)→
「编程与Agent」频道最新
- 多模态 GraphRAG 处理飓风损毁评估:连缺失与矛盾证据也能建模 — JeremyCMorgan · 2026-10-28
- vibe coding 亲历:个人项目 20 小时工作量压缩到 2 小时 — gleech · 2026-10-28
- LangChain 开源 Slack 设计 Agent，揭秘如何编码审美对抗 AI 味 — BraceSproul · 2026-10-28
- 创业者：AI 写 95% 代码后，连 PR 审查也交给了 AI Agent — Yuchenj_UW · 2026-10-28
- 红杉联合 OpenAI 办扑克 AI 锦标赛:60 分钟从零造 bot,冠军奖金 10 万美元 — polynoamial · 2026-10-28
- 开源 Picteus:本地按 prompt/模型/LoRA/seed 检索海量 AI 生图 — shivam_dewan · 2026-10-28