EMNLP 论文:1480 万提示显示人口群体线索不同,LLM 偏见结论会反转

lucy3_li · x · 2026-10-25

EMNLP 2026 论文《Different Demographic Cues Yield Inconsistent Conclusions About LLM Personalization and Bias》检验了人口群体线索评估的一个隐含假设:用名字等单一线索代表群体身份是可互换的。研究基于 1480 万条现实求助式提示(聚焦美国种族与性别),发现:表示同一群体的不同线索只引发部分重叠的模型响应变化,个性化结论不一致;偏见结论也不稳定,群体差异的幅度和方向随线索而变,甚至反转(如明确说「用户是黑人」vs 用黑人名字 vs 方言表达,得出的薪资建议截然不同)。作者指出这源于线索与群体关联强度及线索附带的语言特征差异,认为 LLM 的群体条件化不是线索不变的类别参数,而是对语言信号的响应,呼吁采用多线索、机制感知的评估方法。