一个样本就能刷过公平性基准，EMNLP 论文质疑 BBQ 可信度
radamihalcea · x · 2026-10-27
密歇根大学 Rada Mihalcea 团队在 EMNLP2026 发表论文《One Example Is Enough to Pass Fairness Benchmarks》，由 Naihao Deng 牵头。
核心发现：仅用单个 BBQ（公平性基准）样本做 one-shot 学习或配合 GRPO 训练，就能把 LLM 在相关评测上的准确率推高到 90% 以上。
结论：模型通过公平性基准并不代表它真的公平，现有公平性评测的设计需要重新思考。项目页、代码与模型均已开源。
「研究」频道最新
- NeurIPS 论文 BreakingWeb：强浏览器 Agent 在受控变体上近半数失败 — shuyanzh36 · 2026-10-27
- ACL 试行人类与 AI 分别独立评审，三角互证取代混合使用 — _akpiper · 2026-10-27
- temperature 0 为何不确定：Qwen3-235B 跑千次出 80 种答案 — JensHonack · 2026-10-27
- EMNLP 研究：LLM 面对偏见文本仅 0.4% 拒绝指认归属群体 — ZhijingJin · 2026-10-27
- EMNLP 论文：LLM 当偏见评审时自陷「二阶偏见」，仅 0.4% 拒答 — ZhijingJin · 2026-10-27
- 开源 OntoGr Agent Memory:每条事实带引文、来源与双时间轴 — vm324234 · 2026-10-27