EMNLP 论文提出 cESA 标注协议,已用于 WMT26 评测
zouharvi · x · 2026-09-14
作者将赴布达佩斯参加 EMNLP,并介绍其论文中的 cESA 标注协议:标注者同时查看多个模型输出,以错误区间(error span)加绝对打分的方式评判,比逐条单独标注更快、更客观。该协议已实现在开源工具 Pearmut 中,并被 WMT26 机器翻译评测采用。
所属事件:Pearmut翻译评测平台及cESA协议将亮相EMNLP(3 条相关)→
「研究」频道最新
- LeanDB:用Lean类型系统为SQL数据库加上形式化验证前端 — hargup13 · 2026-09-14
- 研究者激辩：AI 破解癌症若实证有效，arXiv 该不该拒收 — IanArawjo · 2026-09-14
- cESA协议：一次对照标注多个译文，更快更稳的机器翻译人工评测 — zouharvi · 2026-09-14
- 把评测当老虎机：动态分配标注预算，优先评最优模型 — zouharvi · 2026-09-14
- WMT评测工具Pearmut取代Appraise，三项评测方法将亮相EMNLP — zouharvi · 2026-09-14
- Looped Flows 论文：扩散去噪+循环推理，ARC-AGI-1 达 58.8% — LucaAmb · 2026-09-14