Agent 后训练五步课程:从 SFT 到真实 harness 上的 RL 全流程开源

SergioPaniego · x · 2026-10-28

Sergio Paniego 把「如何对 agent 做后训练」整理成五步课程,从 SFT 一路讲到在真实 harness 中跑 RL,每一步都配有直播、代码和文档。配图讲清了四种训练信号的机制:SFT 让模型读 agent 轨迹逐 token 预测;on-policy 蒸馏由教师模型对学生写的每个 token 打分;RL 是模型对同一 prompt 写多个答案、与组平均分比较;RL environments 则让模型多轮调用工具、以最终结果(任务完成/测试通过)给整局打分。架构上每个 rollout 在远程沙箱里跑真实 harness,生成与训练用独立 GPU,由 AsyncGRPQTrainer 异步回传新权重。