MiRL：从错误中学习的 RL，用 35% 算力追平完整配方训练的终端 agent
mohitban47 · x · 2026-10-28
新论文提出 MiRL(Misbehavior-driven RL)，用于高效训练终端(命令行)智能体避免错误行为。
方法：先对策略的错误进行画像，找出在大量环境中反复出现的「可泛化错误」；再从这些错误发生的步骤起启动 rollout 做 RL，只有同时通过测试且避开错误才给奖励。
关键结果：
- 在 Qwen3.5-4B 上，8 类主导错误占错误步骤的 52.1%，出现在 75.4% 的环境中；
- MiRL 用少于 200 个环境、仅 35% rollout 量(15K 步 vs TMax 上限)追平 TMax-4B 完整配方；
- Terminal-Bench Lite 上 51.8% vs 47.4% 超过 TMax-4B，Terminal-Bench 2.1 上 21.3% 持平。
所属事件:MiRL 用错误靶向 RL 以 35% 算力追平终端 agent 训练(4 条相关)→
「编程与Agent」频道最新
- 用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器 — JnBrymn · 2026-10-28
- Codex 团队日更系列第 23 天：跳过 iCloud 插件，进行一次重置 — dotey · 2026-10-28
- Cloudflare Access 支持 HTML+Liquid 自定义登录与拒绝页 — dinasaur_404 · 2026-10-28
- 查内存泄漏时 Opus 重试同一会话 2060 万次，开发者晒翻车现场 — johnlindquist · 2026-10-28
- 开源视频设计 Skill：让 AI Agent 按方法论做视频 — songguoxiansen · 2026-10-28
- 不是所有流程都需要 Agent:固定步骤用配方,别用 Token 跑 if 语句 — adamse · 2026-10-28