腾讯混元推 SAT 稳定异步强化学习训练

腾讯 Hunyuan 团队针对异步强化学习发布了技术报告，提出了名为 SAT（Staleness-Adaptive Trust Region）的新方法。虽然异步 rollout 能够有效提升系统吞吐量，但也会引发策略更新不稳定的问题。为此，SAT 方法专门针对异步训练中产生的陈旧 token，动态收紧 PPO 裁剪范围。这一机制有效缓解了 rollout 陈旧性带来的负面影响，显著提升了异步强化学习的稳定性。

2026-07-22 ~ 2026-07-23 · 2 条相关

• 腾讯 Hunyuan 提出 SAT 稳定异步强化学习 — Tencent-Hunyuan · 2026-07-22
• SAT 只对异步强化学习里的陈旧 token 收紧 PPO 裁剪 — heghbalz · 2026-07-23