TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling
_lewtun · x · 2026-10-27
Hugging Face TRL 团队宣布，score centering + masked importance sampling 现已成为异步 GRPO Trainer 的默认配置。在各种 staleness 和 sampler 量化设置下，训练稳定性提升明显。
这对做 LLM 强化学习训练的团队是实用更新：异步 GRPO 常见的陈旧样本与量化采样带来的不稳定问题，现在有开箱即用的缓解方案，无需自行调参。
「编程与Agent」频道最新
- Agent Field Kit 上线：为生产级 Agent 提供 $29 起的安全应急手册 — alvelda · 2026-10-27
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27