正则化 Score Centering 提出:agentic RL 六项任务全面领先,BabyAI 提升 9.9 倍

aviral_kumar2 · x · 2026-11-20

jackbotcs 提出 Regularized Score Centering(RSC),改进 agentic RL 中的优势估计方法。原方法 Score Centering(SC)从每个 token 的 score 中减去采样器的均值 score,但当训练器(learner)与采样器(sampler)分布相距较远时会失效。RSC 的做法是:在 SC 基础上,增加一个对采样器的反向 KL 正则项,从第一性原理出发解决 learner-sampler 偏差问题。实验结果:在全部六个 agentic 任务上取得最佳表现,其中 BabyAI 上提升达 9.9 倍。推文链接了 13 页的详细线程。

所属事件:正则化分数中心化方法显著提升智能体强化学习性能(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →