两本女性主义专著胜过维基百科,RAG 让 LLM 读懂隐性厌女

RAGing Against Misogyny: Improving Implicit Misogyny Explanations

Ivana Crescenzi, Arianna Muti, Maarten Sap, Tommaso Caselli, Debora Nozza

cs.CL

2026-10-26

用女性主义文献、Wikipedia 和俚语词典做 RAG,隐性厌女检测 recall 从 0.891 升至 0.923,解释在人工偏好中 88 比 18 胜过无 RAG 基线。

这篇在解决什么

隐性厌女是仇恨言论里最难抓的一类:不带脏字,靠反讽、文化指涉和语用暗示传达敌意,说完还能否认。论文开头的例子很典型。2023 年意大利女生 Giulia Cecchettin 被前男友杀害,有人提议把她姐姐 Elena 评为「年度女性」,帖子下面一条留言说「体面就是沉默,别再消费悲剧」。没有这起案件的背景,模型只能输出「女性被利用来吸引眼球」这种泛泛之谈。

同组此前的工作已经证明,LLM 解释这类内容时靠的是浅层语义关联,给出的隐含假设经常不着边际,而审核系统对隐性仇恨言论普遍漏判。这篇要回答的问题很直接:把背景知识检索进 prompt,检测和解释能不能同时变好。

方法

框架是标准 RAG(Retrieval-Augmented Generation,检索增强生成),功夫全花在知识库构建和压缩上。三个知识源各管一类隐性含义:

检索管线:spaCy 抽实体,规则补全被拆开的人名;检索后做两轮压缩。第一轮按来源定制,Wikipedia 的句子提到目标实体 +3 分、含领域关键词 +2 分、是文章前三句 +1 分,最多留 8 句、1,500 字符;俚语按义项压。然后按与输入的余弦相似度重排,每个实体至多留 3 个候选,再做一轮句子级过滤(阈值 0.3)。全部 embedding 步骤用同一个多语言 sentence transformer。

实验模型是 Llama-3.1-8B-Instruct(沿用前作报告的最优设置),temperature 0.3。两个数据集全为厌女样本:意大利语的 ImplicIT-Mis(1,120 条 Facebook 评论,多与新闻事件挂钩)和英语的 SBIC+(2,344 条,隐含程度更低、slur 更多),因此检测指标只有 recall。

结果

先看上下文的作用。ImplicIT-Mis 上把评论所属新闻的标题一起给模型,英文 prompt 的 recall 从 0.771 提到 0.891,意大利语 prompt 从 0.838 到 0.865。

RAG 对检测的作用在两个数据集上方向相反(各源取最优 prompt 设置):

系统ImplicIT-Mis(意)SBIC+(英)
基线0.891(带标题)0.966
+Wikipedia0.8810.962
+俚语0.9160.806
+女性主义文献0.9230.723

意大利语数据集上俚语和文献检索都超过基线;英语数据集上三个源全部低于基线。检索覆盖率解释了一半:Wikipedia 覆盖 87.4% 的意语样本,英语只剩 3.4%;俚语正好相反(9.7% 对 57.1%);文献两边均衡(29.6% 对 40.8%)。

真正的收益在解释质量。两位标注者(论文作者)对每语言 100 条样本盲评 faithfulness(解释被原文和检索证据支持的程度,0 到 2 分):

系统意 faithfulness英 faithfulness
无 RAG 基线0.5901.345
+Wikipedia0.6591.083
+俚语0.7651.304
+女性主义文献0.9251.360

意大利语上 RAG 的 faithfulness 显著高于基线(Wilcoxon 检验 p<0.0001,提升 0.198,效应量 Cohen's d=0.272 偏小);英语上按源聚合 RAG 是 1.310,略低于基线的 1.345,差异不显著。两两偏好对比里,RAG 解释在意大利语 88 胜 18 负(另有 33 平、61 例双方都没被选中),英语 86 胜 27 负。按来源归一化后,文献在两种语言都排第一(0.408 和 0.538),Wikipedia 在英语垫底(0.361),低于基线。

失败模式诊断:对 35 条意语和 36 条英语样本,按前作提出的七类错误检查,意语 20 个问题句解决 21 处,英语 12 个解决 9 处,集中在错误推理和反讽。

为什么重要

对做信任与安全的人,这篇的价值不在检测数字,在知识源选择的证据:两本理论书压过了 Wikipedia。Wikipedia 的覆盖率随数据集剧烈波动,文献库在两种语言都稳,而且对「否认父权制是结构性原因」「女性卓越被当成可疑」这类需要理论框架的含义,百科本来就没有对应条目。给垂直领域做审核系统时,「教材级语料可能比百科更有用」是个值得直接拿去验证的假设。

另一个实用细节:意大利语数据上英文 prompt 一致更好,文献源差距最大(0.923 对 0.666)。多语言系统里 prompt 语言是个免费的调参项。

也得说清,检测层面这是混合结果,英语数据集上 RAG 全线变差。这篇的贡献是解释质量,而解释正是给审核员看的东西。

局限与存疑

作者自述了六条,分量最重的三条:SBIC+ 不保证全部真正隐性(混有 slur 和露骨笑话),英语侧结论要打折;人工评估只有每语言 100 条,应视作诊断性结论;标注全部由两位作者完成,虽然盲评且是领域专家,但偏好类别的初始一致性一般(κ 0.286 到 0.333,讨论复核后才到 0.702 到 0.925)。

读下来还有两点存疑。第一,语言和数据集绑死:意语语料依赖背景知识,英语基线已经 0.966,「RAG 在意语更有效」推广不到语言本身,作者也承认。第二,只报 recall 是数据集全正例所致,但回避了误报成本,真实审核系统里那才是决定性约束。论文自己的收尾案例就给了证据:有些检索只是词汇撞车,解释被偏好不等于推理正确。

术语

原文与代码

社区讨论

相关论文

全部论文解读