翻译评测指标存系统性长度偏置,论文称排名被句子长短扭曲
shangbinfeng · x · 2026-10-04
- 一篇将在 COLM 会议上展示的论文(作者来自 @WendaXu2、@yilinjz 等,与 Google AI/Google DeepMind 相关)指出,当前表现最好的翻译评测指标/奖励模型存在系统性的长度偏置。
- 论文认为这些指标可能在给"更长的译文"打高分,而非真正衡量翻译质量,从根本上扭曲了模型排名——评测分数部分反映的是序列长度而非质量。
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19