实证发现：Score Centering 单独常够用，叠加 TIS/KL 修正未必救场
kastnerkyle · x · 2026-11-06
一项异步 RL 稳定性侧项目实验：很多人在 Score Centering（SC）之上再叠加 truncated importance sampling（TIS）或 KL 惩罚，作者团队测试了这些修正到底有多大帮助。
- 在 Qwen3.5-4B、staleness 15 的设置下，SC 单独使用时经常能匹配 on-policy 表现
- 但当 SC 表现不佳时，叠加更多修正并不必然解决问题：配图显示 vanilla IS 约 100 步即崩溃，SC+TIS 撑到约 300 步也崩溃，SC 单独撑到约 550 步才崩
- 结论：SC 常常是主要功臣，额外的修正手段在 SC 失效时并不能可靠救场
「研究」频道最新
- ExPert 论文反向求解扰动因果：从细胞状态溯源疾病驱动因素 — anshulkundaje · 2026-11-06
- mlpowered 补充论证:残差态梯度回传使远期预测信息得以编码 — mlpowered · 2026-11-06
- 学者评 AI 审阅代码:像趣味实验,但误报多、易误导人 — thegautamkamath · 2026-11-06
- UCLA 发布 FlowPilot：人类偏好对齐使人行道机器人干预率降 40% — zhoubolei · 2026-11-06
- NeurIPS 2026 Spotlight：diffTLM 从声音重建人类声道形状 — sainingxie · 2026-11-06
- 普林斯顿研究发现「睡眠回放」让 AI 从儿童真实语料学会数千词 — jpillowtime · 2026-11-06