小米 MiMo-V2.6 修复工具调用重复:RL 奖励盲区所致
udmrzn · x · 2026-09-28
小米 MiMo 团队诊断并修复了 MiMo-V2.6 系列模型重复调用相同/相似工具的问题——该 bug 会烧掉上下文并卡死任务,在 MiMo Desktop、MiMo Code 和 OpenCode 中尤为明显。
根因:规模化 RL 中的「奖励盲区」——当奖励只看最终答案正确性时,过程中的低效行为不会被惩罚,反而随训练规模放大。具体是 flooding 惩罚只在每轮 >32 次工具调用时才触发,低于阈值的重复完全不受约束。
修复方案:训练了一个轻量的「重复专项 RL teacher」——仅 12 步、约 7k 样本——再通过 MOPD 合并进主模型,成本约为完整 mixRL 重训的 4%。修复后各 harness 与上下文长度下重复大幅下降,benchmark 保持稳定。
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16