Meta 研究发现 RL 后训练放大子群体偏差并提出修复方法

Meta 发表论文《Aligning Language Models towards Counterfactual Invariance》，发现用 GRPO 风格强化学习做后训练虽能提升推理与指令遵循，但能力提升在不同人群间分布不均，会放大反事实偏见。团队提出利用 GRPO 多 rollout 结构的组级奖励变换，消除子群体偏差，使模型输出对反事实变化保持不变。

2026-10-20 ~ 2026-10-20 · 3 条相关

• 新研究：RL 对齐会放大反事实偏见，组级奖励可修复 — nagpalchirag · 2026-10-20
• Meta 论文实测:GRPO 后训练带来的能力提升在不同人群间分布不均 — nagpalchirag · 2026-10-20
• Meta 提出利用 GRPO 多 rollout 结构的奖励变换消除子群体偏差 — nagpalchirag · 2026-10-20