Beyond Model Weights: Sampling-Dependent Fairness in Diffusion Language Models
Koshiro Saito, Daisuke Oba, Danushka Bollegala, Naoaki Okazaki
cs.CL
2026-10-20
LLaDA、LLaDA-1.5 与 Dream 在 24 组采样下，Open-BBQ 歧义偏见分变化超过 40%，模型排名随之对调。SFT 将 LLaDA-8B 默认配置的歧义偏见从 0.123 降到 0.015，去偏后采样敏感仍在。
扩散语言模型已经能跟自回归模型拼生成质量。部署时多出来的旋钮，自回归解码没有对应物：块长、重掩码、每步提交的 token 数（TPS）。三颗旋钮把速度和质量钉在一个工作点上。自回归模型换 temperature 或 top-p，偏见测量就会漂。扩散模型的旋钮改的是生成过程，哪些位置并行写下，哪些预测回头重写。只报一组配置，采样和权重在公平性结论里大约各占一半。
评测 LLaDA-8B-Instruct、LLaDA-1.5 和 Dream-7B。Open-BBQ 用短答，从 58492 条抽 1 万，歧义与消歧一比一，11 类占比对齐全量。模型先写推理，再把选项号放进方框。试点里用大模型做评判，护栏会插手，提交越快越不稳，所以偏见分只算方框格式正确的样本。
歧义题应答无法判断，消歧题的上下文已经点名。偏见分是两侧次数之差除以计入作答。0 为两边一样多，1 为永远顺着刻板印象。分母含无法判断，答对越多，歧义分越小。
采样 24 组，窗口 256 token。块长取 8、32、128，TPS 取 1、2、4、8。同一步的 token 并行预测，互相看不见。LLaDA 比较 low-confidence 和 random，temperature 为 0。Dream 比较 low-entropy 和 origin，temperature 用 0.1，因为 0 会交空答案。官方采样器不分块，分块是这篇补上的。
SFT 只监督 5 个 token 的方框答案，整段遮住，避开 1/t 把梯度放大。dOPSD 用轨迹后段教前段，教师冻结，学生以前向 KL 对齐。全部分支都留下，按对错过滤会丢掉偏见回答。公平项只加在歧义样本上，三项为 log-ratio、JS 散度、组内方差，系数分别为 1、30、1。后两项再用 159 组词表，覆盖 11 类。3 个 epoch，学习率 4×10⁻⁵，LoRA。8 张 H200 上，SFT 约 5 分钟，dOPSD 约 951 分钟。
三款模型在歧义题上都偏向刻板印象，消歧分贴近 0。LLaDA-8B 基座在 low-confidence 的 12 组里，消歧分落在 -0.018 到 -0.005。没有同一切分上的自回归对照。
每款模型的偏见分在 24 组间变化超过 40%，谁更偏见也会对调。LLaDA 上重掩码影响最大。TPS 加大后，不同块长的分差和方框失败率一起上升。Dream-7B 在大 TPS 上失败率很高，那些偏见分不可靠。low-confidence 加贪心时生成是确定的，分数仍随块长和 TPS 变。
| 方法 | 指标 | 结果 |
| 基座，单点 | 歧义偏见分 | 0.123 |
| SFT | 歧义偏见分 | 0.015 |
| SFT+JS（系数 30） | 歧义偏见分 | 0.000 |
| dOPSD | 歧义偏见分 | 0.064 |
| dOPSD+JS（系数 30） | 歧义偏见分 | 0.011 |
| 基座到 SFT+JS | 歧义准确率 | 0.703 到 0.999 |
| 11 类不加权，默认采样 | 均值 | 基座 0.171，SFT 0.030，SFT+JS 0.001 |
歧义准确率升到 0.965 和 0.999，是因为歧义题改答无法判断。SFT 的消歧准确率升到 0.965（基座 0.942），dOPSD 显著降到 0.934。11 类不加权里，dOPSD 均值为 0.108，加 JS 后为 0.015。
SFT 在多数配置上分更低，dOPSD 跨配置更稳。SFT 之后，LLaDA 的名次会从第一排到第三。dOPSD 之后名次大体不动。图 4 按重掩码画的歧义分极差，基座约 0.035 与 0.037，SFT 为 0.154 与 0.163，SFT 加 log-ratio 为 0.207 与 0.205。dOPSD 加词表项后极差约 0.019 到 0.033。单点上的 0.000 盖不住网格，SFT+JS 的极差仍有 0.040 与 0.079。LLaDA-1.5 上，SFT 加组内方差，极差拉到 0.222 与 0.231。降平均分和降采样敏感是两件事。
效用只在默认采样上测，B=32、TPS=1、low-confidence，GSM8K 用 B=8。偏见分显著下降，IFEval 和 MMLU 没有显著变差，SFT 也不损 GSM8K。LLaDA-1.5 和 Dream-7B 至少各有一条策略在三项上都不显著掉点。这两款的 dOPSD 都损 GSM8K，Dream-7B 的 dOPSD 还损 IFEval，其中两条再损 MMLU。偏见集中在年龄、外貌、社会经济地位和残障。除去接近全零的两列，类别秩与基座的 Spearman 相关至少 0.72。
选速度就是在选这三颗旋钮。只报默认档，换一档 TPS 就可能换分数，也可能把三款模型的名次换掉。
位置上的分布正则可以直接用，遮住的位置本来就有 token 分布。推理时干预、参数编辑和偏好优化要读整句似然或下一个 token，扩散模型不直接给出。
8 张 H200 上 SFT 大约 5 分钟，默认档歧义偏见从 0.123 收到 0.015，IFEval 和 MMLU 不显著变差。算法是现成的。报告方式得改：去偏之后，准备上线的速度档仍要扫一遍。
论文只覆盖三款模型、Open-BBQ 的 11 类偏见和有限采样网格，并写明换家族、换基准、换公平性定义后，幅度不必相同。
格式失败的样本不进偏见分。Dream 在大 TPS 上答不出方框时，高低分更像格式崩了。提示改成强制方框，评测协议和原版自由作答加自动评判已经分开。效用没有沿 24 组再测，不损下游只在一个工作点成立。
SFT 的监督几乎只有选项编号，模型可能主要学会了这批题该框哪个数字。词表把 healthy 与 old、young 放在一组，plumber 与 gay、queer 放在一组。拉齐只在训练词表上量过，词表外没有测。每个模型只训一次。