REINFORCE Zero 开源：TII+最简 IS 比率让异步 LLM RL 稳跑 2 万步
kastnerkyle · x · 2026-11-06
开源项目 REINFORCE Zero 提出 Trainer–Inference Invariance（TII）加最简 importance sampling 比率的组合，让异步 LLM RL 训练稳定运行 2 万次策略更新。
- 作者称这是该配方首个开源的 20K 步演示：不裁剪的 token 级 IS、无 rejection gate、极简 loss
- 配图显示：五基准 macro pass@1 从 40.29% 稳步升至约 51%，与同步 TII 相当；rollout-to-learner KL 保持平稳，而标准 Async IS 中位 KL 暴涨 83.33 倍
- 梯度范数受控（峰值约 0.05 vs Async IS 的 38.27），序列拒绝率 0%，而 Async IS+Seq gate 后期拒绝约 24.5%
- 还展示了 lag 64、Qwen3-4B 加 Python 工具的 5K 步训练，AIME24/25/26 平均 pass@1 升至约 45%
所属事件:REINFORCE Zero 开源：异步 LLM 强化学习稳定跑满 2 万步(3 条相关)→
「编程与Agent」频道最新
- FastAPI 作者 tiangolo:听完 jxnlco 演讲后高频用语音操控 Codex — jxnlco · 2026-11-06
- 企业 AI 缺的是「可计算企业」层:把员工脑中的业务逻辑沉淀下来 — vishalmisra · 2026-11-06
- Claude Skills 冷启动关键:先喂给它你的真实业务 — aryanXmahajan · 2026-11-06
- 生产环境用 Claude/Codex/Cursor,要不要上 MCP 防火墙? — vdobroskok · 2026-11-06
- Firecrawl 推 Alexandria 金融数据层并宣布 7500 万美元 B 轮 — devdigest · 2026-11-06
- 给 swarm 每个智能体配沙箱和共享记忆:写了 12 条笔记无人读 — wandb · 2026-11-06