Meta 提出利用 GRPO 多 rollout 结构的奖励变换消除子群体偏差
nagpalchirag · x · 2026-10-20
这是 Meta《Aligning Language Models towards Counterfactual Invariance》论文线程的方法部分：团队提出一种创新的奖励变换技术，利用 GRPO 的多 rollout 结构来量化反事实子群体之间的奖励差异；并设计了定制的 leave-one-out 奖励，以 L2 距离匹配各子群体的奖励期望，从而缓解后训练带来的偏差。
所属事件:Meta 研究称强化学习后训练会放大反事实偏见(3 条相关)→
「研究」频道最新
- MULTIFINVG benchmark:语言模型能识别金融概念却难提取完整证据 — TheFinAI · 2026-10-20
- Prime Intellect 推出 IPO 掩码方案，修复 IcePop 在 SWE RL 中的崩溃 — nrehiew_ · 2026-10-20
- VGC 论文：后处理模型修正生成视频的 3D 几何畸变 — kwangmoo_yi · 2026-10-20
- GitHub 前 CEO 公开整个癌症病程：125091 张影像与全时间线基因组数据 — OgundipeOre · 2026-10-20
- Ternary Bonsai 2 把 Qwen3.5 VL 压成 -1/0/+1 三值权重，9B 仅 2GB — lmoroney · 2026-10-20
- MIT 科技评论：「我们一直看错了它」，一个观点震动 AI 界 — ResultBackground2450 · 2026-10-20