扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定
Bollegala · x · 2026-10-23
东京科学大学 Koshiro Saito、Okazaki 等人在 arXiv 发布论文《Beyond Model Weights: Sampling-Dependent Fairness in Diffusion Language Models》,系统研究扩散语言模型(DLM)的公平性。
- 在 LLaDA、LLaDA-1.5、Dream 三款 DLM 上用 Open-BBQ 数据集评测,发现三者均存在社会偏见。
- 关键发现:remasking 策略、块长度等 DLM 特有的采样参数会显著改变测得的偏见大小,甚至重排模型之间的偏见排名——公平性不能脱离采样配置来评价。
- 针对 ARLM 的去偏方法可迁移到 DLM,能降低偏见且不损害下游性能,但采样依赖性在去偏后依然存在。
- 结论:DLM 的公平性评测必须同时报告采样配置,否则结论不可比。
所属事件:研究发现扩散语言模型偏见随采样配置改变(2 条相关)→
「模型」频道最新
- 去审查模型引安全争论:Deedy 称漏洞泛滥部分归咎 abliterated 模型 — max_paperclips · 2026-10-23
- Fable 用量限制并未取消,只是移动端 App 更新了用量重置显示 — imjustnewatai · 2026-10-23
- Claude 全代码生成 11 分钟末日短片:AI 不反抗,只是等待 — ZeroStateReflex · 2026-10-23
- Gemini 竟读不到自己的 Personal Instructions,用户反复开关设置无效 — Connect_Reporter_799 · 2026-10-23
- 月付 20 美元同时跑 100 个 DeepSeek v4.1 flash agent — zack_overflow · 2026-10-23
- 从业者感叹开源音频模型连表征类质量都普遍拉胯 — gowthami_s · 2026-10-23