新 RL 技巧用偏差换方差，小批量训练更稳不再崩
willcb · x · 2026-09-27
作者介绍一种新的强化学习技巧：用偏差换取方差（trade off variance for bias）。相比无偏差方法，在小批量（tiny batch size）的短训练中稳定性更高——后者在他们的实验中频繁崩溃。作者坦承这只是初步结果，进一步的 scaling 分析仍待完成。
所属事件:新 RL 技巧以偏差换方差提升小批量训练稳定性(2 条相关)→
「研究」频道最新
- 音频编解码模型秒变动作分词器,机械臂全自主划火柴 — chris_j_paxton · 2026-09-27
- MoE 双尺度负载均衡新论文:EQB 精确全局分位,超越 Kimi K3 近似方案 — ChengleiSi · 2026-09-27
- 激光灼烧聚酰亚胺胶带即可造出激光诱导石墨烯 — johnowhitaker · 2026-09-27
- 多智能体竞技场引入 Diplomacy,人类可挑战前沿 AI 社交策略 — ycombinator · 2026-09-27
- 科学家热议：AI 造假专业水平已难与人类造假区分 — anshulkundaje · 2026-09-27
- 未训语言也能写 kernel：28% 通过率、比 Triton 快 66 倍 — cephaloform · 2026-09-27