Pleias 发布 TD Bench:25 种语言上考「谁该当多语流畅度评委」

antoine_chaffin · x · 2026-10-23

Pleias 新论文《Which Model Should Judge That Language?》研究多语言生成中的 LLM-as-judge 问题:给文本 0-5 分评估对母语者的自然度,但评判模型本身的能力、成本、延迟各异,低资源语言下尤其难选——是否需要前沿模型?前沿模型就够吗?

团队先在语法纠错数据试点发现不同语言中教师改动幅度差异巨大,于是构建 Translationese Detection Benchmark(TD Bench):用原语言网页文本加轻度/中度/重度三档合成「翻译腔」 degradation,评委须给原文打分高于劣化版本。覆盖 25 种语言,按语言和劣化程度分别评测,帮助读者按目标语言与流畅度档位选 judge。