MiRL：只纠正高频错误行为，35% rollout 即可对齐完整 RL 训练
mohitban47 · x · 2026-10-28
研究团队发布 MiRL（Misbehavior-driven RL），一种面向终端（terminal）agent 的错误驱动强化学习方法。核心思路：许多 agent 失败源于少数反复出现的系统性行为错误，与其一味扩大 RL 训练，不如先定位并针对性纠正这些「可泛化的错误行为」。
方法：先对策略的错误画像，找出跨环境反复出现的 misbehavior；再在这些错误发生的步骤启动 rollout 做 RL，且只有通过测试并避开这些错误行为的 rollout 才给奖励。
结果：在 Qwen3.5-4B 上，8 种主要错误行为占了错误步骤的 52.1%；只需 TMax-15K 中不到 200 个环境、约 35% 的 TMax rollout 量，即可匹敌 TMax-4B 完整训练配方的效果——大幅节省训练算力。
所属事件:MiRL：错误靶向强化学习用 35% 算力训平终端 Agent(5 条相关)→
「编程与Agent」频道最新
- AI 写代码为何总把排版搞砸：自己定好字体样式再让它只用这些 — hewarsaber · 2026-10-28
- 告别人工传话筒：开源工具 Switch 让 Claude Code 直接连进团队 Slack — thetripathi58 · 2026-10-28
- 开源 JNISleuth-MCP：让本地 LLM 跨 Jadx/Ghidra/IDA 逆向 Android 原生库 — Dull-Plankton3027 · 2026-10-28
- 开源 Moonfold：编码 agent 撞用量上限时自动把任务交接给下一个 — subaru_kun33 · 2026-10-28
- Grok 4.7 包揽 VulcanBench v4 前三名,超 Opus 5.5 与 Sonnet 5.5 — XFreeze · 2026-10-28
- 首届 FastAPI Conf 在阿姆斯特丹开幕,OpenAI 与 Pydantic 登台 — DynamicWebPaige · 2026-10-28