150 次异步 RL 实验揭示:训练器贴近采样器时分数中心化就够用
brandondamos · x · 2026-11-06
团队跑了约 150 次异步 RL 实验来验证 score centering(SC)何时足以替代额外技巧,结论是:只要训练器与采样器保持接近,SC 本身就足够;小 batch、数据过时(stale)或学习率过高都会把训练器拉离采样器,导致崩溃。
配图显示 batch 32 的训练在 400 步左右直接崩溃,batch 64 也明显不稳定,batch 512 则接近 on-policy 水平;而额外叠加 TIS 或 KL penalty 的收益比预期低。这对做异步 RL 训练的团队是很有参考价值的消融结论。
所属事件:150 次实验表明异步 RL 中 Score Centering 单独即可胜任(2 条相关)→
「研究」频道最新
- 注意力内核遇上真实模型：可解释性与系统研究的交集 — QuentinAnthon15 · 2026-11-06
- MoE 预训练 All-to-All 通信占训练步 60%,新方法削减 58% 分发行 — QuentinAnthon15 · 2026-11-06
- CMU 与 Bosch 提出 BestRand:基准压缩高错误风险降 50.2% — CarnegieMellonU · 2026-11-06
- KAIST 发布 EDGAR:用扩散模型修复降质 Gaussian 头像 — KAIST · 2026-11-06
- 字节论文:策略蒸馏后学生泛化能力落后最优教师 18-24% — brandondamos · 2026-11-06
- Snorkel 实验:1620 次测试中 agent 宁偷看评分器也不问用户 — ajratner · 2026-11-06