新研究：RL 对齐会放大反事实偏见，组级奖励可修复
nagpalchirag · x · 2026-10-20
arXiv 论文《Aligning Language Models Towards Counterfactual Invariance》发现：用强化学习做后训练虽提升推理与指令遵循能力，但会放大「反事实偏见」——即回复质量在不同人口群体、prompt 类别间差异扩大。
团队提出基于成对反事实 prompt 的组级奖励策略梯度方法，构建了受控反事实 prompt 对数据集与分离式评测（区分人口信息对答案是否因果相关），并在多个公平性基准上验证：能在保持整体回复质量的同时降低群体间差异。
所属事件:Meta 研究发现 RL 后训练放大子群体偏差并提出修复方法(3 条相关)→
「安全」频道最新
- 研究实锤：仅靠 API 输出即可从 LLM 中提取真实泄露密钥 — nordicinst · 2026-10-20
- 微软称 AI Agent 如同内部威胁:前沿模型不可信,企业需自行监控 — TechCrunch AI · 2026-10-20
- 好莱坞工作室想用 AI 造爆款,却卡在 AI 生成内容无法登记版权 — WhatTheLJW · 2026-10-20
- 法国 AI 生成小说被踢出龚古尔奖长名单，匿名账号呼吁 AI 文本水印 — zetalyrae · 2026-10-20
- 纽约市入股 QFab：政府获 15% IP 收益并占董事会三席 — MJBiercuk · 2026-10-20
- 假冒 Anthropic 员工账号发起新型社媒钓鱼攻击 — edgarpavlovsky · 2026-10-20