词向量偏见与下游无可靠相关,CL 综述把评测拆成三层

Bias and Fairness in Large Language Models: A Survey

Isabel O. Gallegos, Ryan A. Rossi, Joe Barrow, Md Mehrab Tanjim, Sungchul Kim, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Nesreen K. Ahmed

cs.CL, cs.AI, cs.CY, cs.LG

2023-09-02

Gallegos 等人把 LLM 偏见评测拆成 embedding、概率和生成文本三层,并指出词向量偏见与下游任务没有可靠相关,不能单独当上线检查。

这篇在解决什么

LLM 偏见评测把数据集和指标绑在一起用。CrowS-Pairs 在引用里常常是一个分数,它实际是 1508 对句子,再配一种伪对数似然。同一批句子换成 All Unmasked Likelihood,问的问题就变了。闭源接口大多只回生成文本,token 概率和 embedding 拿不到,给填空模型设计的指标没法算。

公平约束也从分类任务搬来。生成没有单一标签。「换掉性别词之后输出必须相同」和「中性词在两组下概率相等」不是同一条约束,文献经常不写明用哪一条。招聘差别和刻板画像对应两种伤害。

方法

Gallegos 等人(Stanford、Adobe Research、Intel Labs)把文献收成三套分类。文章在 Computational Linguistics 2024 年第 50 卷第 3 期。这里的 LLM 包括自回归、自编码和编码器-解码器,规模从数亿到数万亿 token。

伤害分两类。表征伤害包括贬损、毒性、刻板印象、抹除、排斥性规范和表现不均。分配伤害是简历筛选、医疗工具按身份或代理变量差别对待。刻板的职业关联一旦进了排序,就变成机会分配。

群体公平只要求统计量之差不超过 ε,交叉身份仍可能漏检。五条判据是:去掉群体标识后输出不变;换群体词后,输出在选定度量下相同;中性词对各组的条件概率相等;中性上下文里,各组属性词概率相等;生成分布对齐一份参考语料。均匀分布会把语料里非刻板的真实差异一起抹掉。

指标分三层。embedding 用余弦距离,WEAT 的效应量是群体词与中性词相似度的均值差除以标准差,SEAT 改到句子向量。概率层里,LPBS 用填空概率除以模型先验;CrowS-Pairs 的理想比例是 0.5;iCAT = lms × min(ss, 100−ss) / 50,理想点为 lms = 100、ss = 50。黑盒只用生成层:共现对数比、提及分布到参考分布的距离、25 次采样中不低于 0.5 的毒性比例,以及 HurtLex 命中率。

数据集按结构配到这三层上。反事实输入只换群体词,Winogender 720 条,WinoBias 3160 条,StereoSet 16995 条,BUG 108419 条,CrowS-Pairs 1508 对。Winograd 图式主要测性别与职业刻板印象。图 1 里,男性数据工程师被建议去找数据源,女性被建议先练技术,护士续写则对 he 和 she 相同。

缓解按时机分四段。预处理改数据或提示,训练中改架构、损失或一部分参数,推理时改解码、注意力或外挂模块,后处理改写有害词。数据洗过之后,解码仍可能把刻板续写排到前面。

结果

综述没有新榜单。表里的数字来自它采纳的既有结论,或基准自己定义的理想点。

方法指标结果
embedding与下游偏见的相关无可靠相关
概率指标与下游偏见的相关弱相关
生成指标解码参数一变结论可以相反
CrowS-Pairs刻板偏好理想值 0.5
iCATlms 与 ss理想点 100 与 50
毒性概率25 次采样阈值 0.5

Goldfarb-Tarrant 等人的结果是没有可靠相关。Cabello 等人指出,语言使用假设不成立时,表征关联可以和下游差距分开。概率指标只是弱相关。Akyürek 等人改长度、temperature 或 top-k,同一数据集上结论会反号。规格、模板和解码参数要和分数一起报告。毒性分类器更常把非洲裔美国英语判负,这个误差会叠进生成分数。

为什么重要

闭源评估通常只剩生成文本。没有对数概率,就不要报 SEAT 或 CrowS-Pairs Score,改用共现、分类器或词表,并把解码参数写进报告。

招聘筛选更接近分配伤害,开放续写更接近刻板印象。两边残差不在同一处,不能共用一句「已经去偏」。这篇不提出新指标,也没有在统一设置下重跑缓解方法。

局限与存疑

范围是综述自己划的。只覆盖英语,机器翻译和多语另计。只收封闭形式的新指标、数据集和缓解方法,一般算法公平不在内。例子沿美国受保护类别。交叉身份会漏检,骨架仍按单轴来分。

debiased 只表示流程跑完,不表示偏见已被清掉。

理想分 0.5 把反刻板句当成公平参照。反刻板句并不反映权力关系。等概率入选算不算公平,取决于数据集怎么定义这两类句子。分数只比谁更高,不看差距多大。多数概率指标默认二元群体。

共现分不清提及和使用,反击言论里的伤害词会被记成偏见。词表看不到单词无害、连在一起才有害的句子。情感模型容易把残障、精神疾病和低收入陈述判负。向量去偏还可能只是把关联写进另一种几何。各缓解子类没有统一的效果数字,数据集清单也没有覆盖率。开发上的权力不对等,以及公平保证有没有理论界限,综述点了名,没有给答案。

术语

原文与代码

社区讨论

相关论文

全部论文解读