换一组标注金标准,多语言基准分数可波动 4.95 F1:研究测出参考敏感度
CentificAIResearch · hf · 2026-10-14
Centific 团队的研究把评测方法学的注意力从「被评输出」转向常被忽视的「参考答案」。
- 数据:利用一个六语言 PII 基准保留的标注记录——含两份独立标注、汇总发布的 gold、以及专家重标的 reviewer gold——在固定输出不变的前提下替换参考答案。
- 结果:同一输出分数移动 4.95 与 2.00 F1(95% CI [3.23, 6.27] / [0.26, 3.37]),最差语言达 7.55;两输出的成对比较也移动 +2.95(CI [+1.97, +3.87]),经多重检验校正后仍显著,甚至改变一个语言的排名。
- 根因:一个未文档化的聚合默认设置在仲裁未触发时通常只保留一名标注者的标签,使发布的 gold 部分复制了被评输出。
- 建议:报告「参考敏感度区间」,并主张该指标应与基准分数并列发布;给出了从任意标注记录计算它的方法。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23