TRL 上线 Score Centering：直击 RL 训练不稳定的根因
lvwerra · x · 2026-10-27
Hugging Face 的 TRL 库新增了 Score Centering 功能并已稳定可用。背景来自相关研究：当训练策略与采样策略的数值不一致时，用 LLM 做 RL 会非常不稳定，常规修复（数值匹配、重要性采样）只是绕开问题；该工作从第一性原理找出不稳定根因，提出直接抵消它的方法。Score Centering 与现有方法兼容、效果有竞争力且实现简单。
所属事件:Hugging Face TRL 引入 Score Centering 应对 RL 训练不稳定(2 条相关)→
「编程与Agent」频道最新
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27