More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
Tianxiang Gao, Jinzhe Li, Zhiyuan Li, Yi Chang, Yuan Wu
cs.AI
2026-09-30
JEV 类直判模型在 36 个序数数据集上只用 67%~76% 的金标签有效支撑,扩大规模不解决,BA-LoRA 定向后训练可恢复到约 86%。
JEV 这类直判模型不生成文本裁决,而是把候选集合当作输入的一部分,直接返回各候选的概率再取最优。低延迟加结构化输出,让它们被当作分类器和自动评估器来用。风险是准确率只记录单条对错,不记录整体分布:模型可以看起来很准,却反复只选量表的一小段。
起点是 ANLI。JEV 1.13 在 6,400 条开发与测试样本上拿到 74.95% 准确率,却把 38.8% 的预测和 51.3% 的错误(共 1,603 条)给了 Neutral;三个金标签几乎均衡(2,140/2,136/2,124),Neutral 也不固定落在某个候选位置。ANLI 是名义任务,这只能算线索,但问题本身是真的:准确率正常与输出分布系统性扭曲可以共存。作者把后续现象命名为「序数尺度利用偏差」。
度量是熵的有效支撑:对预测分布与金标签分布各取熵再求指数,得到各自「实际用到」的档位数,相除即利用率 R。R=100% 表示两边占用的档位规模相当,分布形状差异另用 TVD 衡量。这个定义把尺度使用与四个邻近解释(准确率低、金标签不均衡、位置偏差、候选数多)拆开。
四组实验:
| 设置 | 指标 | 结果 |
| 36 个序数数据集 | 金相对利用率 R | 67.2%(KEV-4B)75.8%(JEV 1.13),TVD 29.837.5% |
| 4 个名义数据集(714 类) | R | 86.6%101.9% |
| RealToxicity 14 档均衡任务 | R | 25%,JEV 把 66.2% 的预测压在 Level 01 |
| KEV 0.8B→4B→9B | 序数准确率 / R | 28.8%→33.4%→35.0%;R 68.9%→67.2%→73.2%,非单调 |
| 候选顺序随机化后(序数) | R | 67.7%73.9%,仍低于名义任务的 98.6%99.3% |
| K=2→14,同题等频分箱 | R | JEV 95.9%→54.5%,KEV-0.8B 77.3%→26.5%,KEV-9B 96.1%→74.9% |
| BA-LoRA,8 个训练源 | R / 准确率 | KEV-0.8B 47.4%→86.8%,KEV-4B 46.4%→85.6%;准确率各 +13.0、+15.3 点 |
名义侧并非免疫:KEV-0.8B 在 SCOTUS 上把 55% 的预测给了宽泛的 Miscellaneous 类,R 跌到 51%。
顺序实验还有个副产物:两个随机顺序在序数任务上的标签一致率,KEV 只有 58.1%59.9%,JEV 74.4%,名义任务不低于 95.6%;宏观准确率却最多变 0.55 点。单条决策对顺序高度敏感,聚合准确率完全看不出来。
K 实验最关键的发现是概率与决策分离:KEV-4B/9B 的软利用率 Usoft 在所有 K 下都不低于 96%,平均概率向量里各档都有份,top-1 与 top-2 的差距却从 K=2 的 5054 点缩到 K=14 的 46 点。粗粒度排序保住了,塌的是相邻档位之间的决策边界。DBpedia 参照在 K=14 时 R 仍接近 100%,排除「候选数多本身就导致压缩」。
后训练在 36 个序数数据集全集上把 KEV-4B 的 R 从 67.2% 提到 82.3%,QWK 从 0.456 升到 0.606。迁移是分化的:未见的 28 个源上,4B 的 R 从 73.2% 升到 81.3%,0.8B 却从 75.0% 掉到 72.7%。
用模型当评分器、rubric judge 或级联评估第一级的人,准确率只够当半个验收指标。这篇给了一套便宜的审计流程:报 R 和 TVD、跑多个随机顺序、细化量表看利用率曲线,三步就能暴露「档位给了但没用」。对模型方,BA-LoRA 说明压缩是学出来的决策边界问题,定向补数据可修,不必动架构。定位也要说清:这是测量学工作,定义偏差、给出度量、证明可修,没有新架构。
作者自述了一批:序数/名义只是二分操作化,缺耦合程度的连续度量;同题细化只覆盖三个分数源;DBpedia 参照各模型都接近天花板,不是难度匹配对照;位置实验每条只做两个置换;R=100% 不保证质量落在相同档位,要配 TVD 看;只测了一个托管版本和一个底座家族。还有一条少见的坦白:SST5、DBpedia-14、IMDb 在 KEV 的训练源清单里,题目级重叠没审计,KEV 在这三处的数字可能部分反映训练暴露。
读下来另有两处存疑。36 个序数数据集的宏观准确率只有 28.8%37.7%,模型本来就没学会这些任务,弱能力与压缩的混杂没拆干净;金标签归一化挡住了「标签不均衡」的解释,挡不住「能力不足」。训练源上的恢复是监督学习的直接效果,真正支持「可修」的是迁移,而迁移只在 4B 上成立,0.8B 在未见源上还恶化,更接近容量加数据覆盖的问题,离通用去偏有距离。