TRL 用 agent 轨迹做 SFT,2B 模型任务成功率 5.5%→34.4%
SergioPaniego · x · 2026-11-10
Sergio Paniego 发布一个完整的开源 post-training 示例:用 TRL 对 agent 轨迹做 SFT。
流程:
- 让一个大模型作为 coding agent 在 opencode 中通过 OpenEnv 解决任务
- 它成功解决的任务轨迹直接变成训练数据
- 用这些数据 SFT 一个 2B 小模型,在 held-out 任务上成功率从 5.5% 提升到 34.4%
全部教程与代码开源,可复现整套「大模型生成轨迹→蒸馏小 agent」流水线。
「编程与Agent」频道最新
- 未能中奖后自制 AI 霓虹灯牌：能听会说还会派活 — alexcovo_eth · 2026-11-11
- Vercel Security Review 上线一周扫出 57,897 个漏洞，Agent 自动修复 14,665 个 — cramforce · 2026-11-11
- 小模型用对RLVR可追平巨头,Python动态类型致负迁移 — mdancho84 · 2026-11-11
- 字节阿里腾讯等50名研究者发布303页代码智能与Agent实战指南 — mdancho84 · 2026-11-11
- ByteAsk 开源终端 AI C++ 编程 Agent,自称 multi SWE-bench SOTA 省 60% token — ycombinator · 2026-11-11
- SlashVibe 推出 AI Agent 物理控制器:摇杆切换任务,售价 169 美元起 — Scobleizer · 2026-11-11