智谱 SAO 论文：单采样异步 RL 稳定训练千步，超越 GRPO
teortaxesTex · x · 2026-08-21
智谱团队发布论文 SAO（Single-Rollout Asynchronous Optimization），针对异步 RL 在 agentic 任务中的 off-policy 与稳定性难题提出方案：
- 用单 rollout 采样取代 GRPO 式的组采样（每个 prompt 只采一条）
- 配合实用的 value model 训练设计
- 引入严格的双侧 token 级裁剪策略提升优化稳定性
实验上 SAO 可稳定训练 1000 步，在 SWE-Bench Verified、BeyondAIME、IMOAnswerBench 等 agentic 编码与推理基准上持续优于 GRPO 及其变体，并已部署于 GLM-5.2 的 agentic RL 后训练管线。
所属事件:智谱发布 SAO：异步 RL 稳定训练千步超越 GRPO(2 条相关)→
「模型」频道最新
- Meta 开源 816B 参数 MoE 模型 Muse Spark Open,激活仅 42B — victormustar · 2026-10-16
- Baseten 首日上线 Muse Spark Open API:输入 $1.25/百万 token — baseten · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- d1-ultra 登顶 Artificial Analysis 决策指数，成本仅约 30 美元/百万任务 — JosephJacks_ · 2026-10-16
- 用户喊话 Google：给新模型放宽用量、合并成一个 App — dreamwieber · 2026-10-16
- 用户吐槽:Gemini 网页版可用但编码工具中无权限,体验割裂 — dreamwieber · 2026-10-16