REINFORCE-Zero：内核对齐加未截断重要性采样，异步 RL 稳定训练 2 万步
青稞AI · wechat · 2026-11-06
REINFORCE-Zero 项目报告了一项开源社区首次成果：通过训练–推理不变性（Trainer–Inference Invariance, TII）对齐训练端与推理端的数值执行后，仅用最简单的未截断 token-level 重要性采样（IS）系数，即可让异步 LLM RL 稳定训练 20,000 步——无需 ratio clipping，也无需样本拒绝门控。
核心洞察
- 异步训练的偏差要拆成两部分：权重版本不同导致的 weight lag（可用普通 IS 纠正），和相同权重下因 batch 组成、prefill/decode 路径、算子实现与浮点顺序不同导致的 kernel mismatch（IS 难以控制）
- 标准内核下 Async IS 的 rollout-to-learner KL 达到初期的 83 倍，IS 诊断量的峰值/中位数比为 442.54；TII 对齐后降至 1.50，lag2/lag8 训练稳定跑满 20K 步，五项数学基准平均 pass@1 达 51.10%/50.93%
实验结果
- 高延迟工具调用（Qwen3-4B，lag 64）：reward 从 0.287 提升至 0.782
- 30B MoE（Qwen3-30B-A3B）：四项基准平均 pass@1 从 31.29% 提升至 71.55%
- 视觉电脑操作（OSWorld）：pass@1 从 50.97% 提至 56.16%
- 同样 16 张 GPU 下，异步训练 step 总耗时从 164.77 小时降至 68.55 小时，吞吐 2.40 倍
工程落地
作者把内核对齐流程整理成可复用的 agent skill（C0-C10 共 11 项检查，分建立参照、对齐验证、扩展优化三阶段），用 Claude Code 将 vLLM 的 batch-invariant kernels 接入 AutoModel。论文、代码和 skill 均已开源。
所属事件:REINFORCE Zero 开源：异步 LLM 强化学习稳定跑满 2 万步(3 条相关)→
「编程与Agent」频道最新
- 几乎每个客户代码库都有同一隐患：GitHub Actions 未锁版本 — andersonbcdefg · 2026-11-06
- chalk talk 实录:Jediah Katz 拆解自家 agent harness 设计 — jxnlco · 2026-11-06
- Tinker 团队发布模型可微调性评测:Inkling 2 Small 用更少成本学到更高奖励 — ziqiao_ma · 2026-11-06
- Qwen 27B 配 Python REPL 框架在 Harvey 基准上超越多款旗舰模型 — bansalg_ · 2026-11-06
- 一条 Slack 消息 6 小时合入 34 个 PR，Sentry 用 agent 干完 — zeeg · 2026-11-06
- 隐藏信息评测翻车:Agent 猜中 RNG 种子 2026 恢复像素置换 — RobertTLange · 2026-11-06