Bespoke Labs 用 SFT+GRPO 后训练,代码仓库性能提升 57pp
AlexGDimakis · x · 2026-09-04
Bespoke Labs(Dimitris Dimakis 团队)发布新研究:如何把模型后训练成特定 GitHub 代码仓库的专家。
方法与结果:
- 基于 Inkling 基座模型,先用强教师模型的轨迹做监督微调(SFT),再在自建的仓库专属环境上做强化学习(GRPO)
- SFT 在 held-out 的 fontTools 评测集上带来 52pp 提升,加 RL 后总提升达 57pp
- 泛化性:后训练后的模型在 Terminal-Bench 2.1 和 SWE-Bench Lite 上同样表现良好
- 意外收获:token 效率提升 40%
- 致谢中提到 Thinking Machines Lab 的贡献,完整研究博客已发布
所属事件:Bespoke Labs 用 SFT+GRPO 后训练模型成单一代码仓库专家(4 条相关)→
「编程与Agent」频道最新
- 先用设计系统再生成：一个避免 AI 前端「千篇一律」的实用方法 — dotey · 2026-10-21
- 给文档抽取加信任滑杆:102 条送人工就拦下 74 个错 — michellechen · 2026-10-21
- 开发者推出广告支持的免费编程助手 FreePi,挑战 20 美元月费订阅模式 — heyneighbor · 2026-10-21
- RedMonk:MCP/A2A 只验证发布者不担保安全,注册表成 AI agent 信任关键 — rseroter · 2026-10-21
- AI 跑长循环 600 个 PR：OpenClaw 前端从 Lit 迁到 Solid 2.0 — steipete · 2026-10-21
- 18 个 agent 协作写 Lisp 解释器,19 组运行观测数据开源上架 Hugging Face — strickvl · 2026-10-21