Hugging Face 发布 Agent 后训练五步课程,从 SFT 到大规模 RL
lmoroney · x · 2026-10-26
Hugging Face 发布了一套系统的 agent 后训练课程,把「如何训练自己的 AI agent」拆成五个递进步骤,每步配套 TRL trainer、图解、直播/幻灯片和文档,以训练一个编码 agent 为贯穿案例。
- 第 1 步 SFT:用更强模型的 agent 轨迹做监督微调(SFTTrainer),需要一份轨迹数据集
- 第 2 步 蒸馏:从教师模型的 token 或概率分布学习(DistillationTrainer)
- 第 3 步 强化学习:用 GRPO 按奖励函数给每个答案打分(GRPOTrainer),需要可自动判分的任务
- 第 4 步 RL 环境:在维护状态、可运行工具的环境里训练,基于 OpenEnv(GRPOTrainer)
- 第 5 步 规模化:在真实 agent harness 上跑完整训练(AsyncGRPOTrainer)
作者强调的关键洞察:SFT 只让模型见过正确的轨迹,永远学不会从自己的错误中恢复;后面几步让模型在自己的尝试上训练来补足这一点。起步选择取决于手头资源:有好轨迹数据从第 1 步开始,有自动判分方式直接进第 3 步。
「编程与Agent」频道最新
- 网友用 Claude Opus 后台跑一周，自动生成美国用水全景交互地图 — AndyMasley · 2026-10-26
- 腾讯提出 TGR-EvoDAG：多智能体 DAG 演化生成式推荐代码 — _reachsumit · 2026-10-26
- 写 evals 或成 AI 最高薪工作：rubric 决定智能体产出质量 — hwchase17 · 2026-10-26
- 清华 Ai 提出视角论文：Agent 记忆管理是信息检索的下一个前沿 — _reachsumit · 2026-10-26
- Skillry 上线：给 Claude Code 与 Codex 卖「有品位」技能的市场 — yihui_indie · 2026-10-26
- Codex CLI 赛博朋克语音动画拆解：本质是机场翻牌板效果 — arthurcolle · 2026-10-26