Modal:生产 Agent 团队已具备 RL 训练条件,rollout 便宜 15%

AI Engineer · youtube · 2026-11-09

Modal 的 Jason Mancuso 主张把模型当可替换后端是输家策略——在生产环境跑 agent 的团队已握有做强化学习所需的三样东西：harness、evals 和真实 trace。他解释为何 RL 比在录制的 trace 上做 SFT 泛化更好，然后走了一遍稳定的异步 RL 配方：基于 GRPO、掩码重要性采样、分数中心化、top-p 采样。

稀疏权重更新让 Modal 能把 rollout 分布到不同云、不同 GPU 型号和量化级别，训练保持稳定，rollout 成本降低 15%。