AI2 发布 FairStress 基准：LLM 决策公平性存在隐性不对称
allen_ai · x · 2026-10-21
Allen AI（AI2）推出 FairStress 基准，配套论文《Asymmetrically Unfair Decision Making and Reasoning in LLMs》，代码已在 GitHub 开源（MIT 许可，数据 CC BY 4.0）。
- 测什么：不再只看模型最终答案是否公平，而是测模型对决策的坚持度——当面临诱导时，模型是否会因候选人所属群体不同而以不同力度放弃原本有充分依据的决定。
- 规模：300 个双候选人决策场景，覆盖 29 个高风险领域（招聘、贷款、教育、医疗等），4 级人口特征信号强度、33 组少数/多数群体对比、78 个对抗性前缀。
- 核心发现：当更强的候选人被编码为多数群体（如白人）时，模型更容易放弃他/她；而候选人为少数群体编码时则更难被改变——即公平性「矫正过度」的不对称现象。
- 解释风格差异：在 11 个开源模型中，选择少数群体时的解释用词更偏积极与身份相关，选择多数群体时更多使用「证据」「标准」等措辞。
训练数据分析显示，LLM 几乎从未被显式教过「公平决策」，却普遍被对齐训练去防止歧视，这可能是过度矫正的原因。团队还测试了 9 种去偏方法，大多数无法可靠提升对称稳健性，部分反而损害性能；老基准如 BBQ 检测不出这类过度矫正。
所属事件:AI2 发布 FairStress 基准：揭示 LLM 决策公平性的隐性不对称(8 条相关)→
「安全」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- PHP 核心曝 CVSS 10.0 满分 RCE 漏洞,仅 PHP 8 获补丁 — cyb3rops · 2026-10-21
- Antigen 推出 Assets：安全智能体可自动测绘系统并即时分诊新 CVE — alishbaimran_ · 2026-10-21
- GitHub 总部办开源 AI 政策对谈，Mitchell Baker 与 Kevin Xu 同台 — kevinsxu · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21