作者实测复盘:LLM 简历筛选的「偏见」多半是随机噪声
Signal_Rabbit_8303 · reddit · 2026-08-21
三个月前一项 LLM 简历筛选研究被审计标记出 45% 的评分差异为偏见，遭社区质疑后作者重新跑了上万次实验验证三条具体反驳：
- 理由移植：把正/反面理由换回 prompt（320 次运行），分数 99.7% 随理由方向移动 3.62 点，说明评分确实跟随推理；但基线极不稳定，最初 45% 的「偏见」大部分其实是被误标的随机噪声。
- schema 顺序：把分数放最后（4800 次）对稳定性无影响，反而把录用分歧率从 33% 推高到 54%；盲评指令也没能降低方差。
- 安慰剂对照（4165 次）：改汽车颜色这种无意义字段带来的分数波动（0.328）几乎与人口统计字段（0.362）一样大，「Silver Golf」比改名字或大学影响还大。
结论：名字和职业空窗期有真实信号，但原始不稳定性淹没了大多数维度；而且 wrapper 影响巨大——CLI 调用 Claude 时隐藏系统 prompt 就带来 0.247 的偏移（相当于人口信号的 88%），基准测试结论在不同 wrapper 间不可迁移。数据与代码全部开源。
「安全」频道最新
- Anthropic 水印原理交互演示：通过操纵词概率分布实现 — VeryWellVersed · 2026-08-21
- NEJM AI观点：行为干预需系统化描述以构建累积科学 — zakkohane · 2026-08-21
- Google DeepMind在Nature发表LLM水印技术论文 — burkov · 2026-08-21
- Jessica Taylor 论文：职业信息危害 — ArtificialOther · 2026-08-21
- 预测市场：年底前任一州颁布数据中心禁令概率达 70% — Polymarket · 2026-08-21
- 美联社建议禁用“幻觉”一词，指其粉饰错误 — AndrewSchmidtFC · 2026-08-21