微软用纯 RL 训出 4B 编码 agent FrogNano,无需大模型当老师
ossm-me · reddit · 2026-09-10
微软研究蒙特利尔的 Froggy 团队联合 Mila 与 UC San Diego 发布报告 FrogNano,用强化学习把 Qwen3.5-4B 打磨成小型编码 agent,全程不靠人工标注数据,也没有更大的教师模型提供答案。
核心做法:
- 训练信号完全来自合成的软件工程任务,在约 1500 个环境中多轮生成任务并做 RL;
- 关键贡献在任务难度筛选:太简单学不到东西,太难拿不到奖励,只有「跳一跳够得着」的中间区间才有学习效果;
- 系统随模型能力提升动态生成贴合当前水平的新任务,作者认为任务难度匹配比任务总量更重要。
目标是做出能在有限硬件上运行的编码助手。报告属于早期阶段,尚非成品模型,但思路清晰、验证较充分。
所属事件:微软 4B 纯 RL 编码智能体 FrogNano 达 SWE-bench 61.5%(7 条相关)→
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- OpenAI 计算机使用 agent 团队：速度已逼近超越人类专家 — a16z · 2026-10-26