UIUC 提出正则化分数中心化,Agent RL 训练最高提升 14.3%
UIUC-CS · hf · 2026-11-18
UIUC 与 CMU 论文提出 Regularized Score Centering(RSC),解决异步强化学习中的稳定性问题。
- 背景:异步 RL 提升训练吞吐,但过期策略的数据与训练/推理数值不匹配会破坏学习稳定性
- SC 的局限:score centering 通过去除 reward baseline 对期望更新的影响来稳定 off-policy 学习,梯度诊断显示比重要性采样(IS)更少出现极端梯度,但 learner 偏离行为策略太远时仍会失效
- RSC 方法:加入反向 KL 惩罚,约束 learner 的 next-token 分布贴近行为策略;可与截断重要性采样(TIS)搭配使用,理论上 KL 正则化改善收敛保证
- 实验结果:在数学推理与 agent 任务(在线购物、工具使用、游戏、全异步软件工程)上评测稠密与 MoE 模型;RSC+TIS 在全部 agent 基准上显著提升样本效率,六个任务全部第一——AppWorld 提升 14.3%,BabyAI 达最强基线的 9.9 倍
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18