WMT评测工具Pearmut取代Appraise，三项评测方法将亮相EMNLP
zouharvi · x · 2026-09-14
Zouhar 总结了自己今年在规模化评测方法上的工作，三项成果将在 EMNLP 不同场合展示：
- Pearmut：轻量可复现的人工标注平台，取代 WMT 使用的 Appraise，支持 DA/ESA/MQM 等协议，已扩展到语音标注和通用文本标注；
- 动态标注分配：受 bandit 启发，把标注预算动态聚焦到表现更好的候选模型上；
- cESA 标注协议：一次对照标注多个译文，标注更快、噪声更低。
这些方法均围绕 WMT、IWSLT 等大规模评测的实际需求设计。
所属事件:Pearmut翻译评测平台及cESA协议将亮相EMNLP(3 条相关)→
「研究」频道最新
- LeanDB:用Lean类型系统为SQL数据库加上形式化验证前端 — hargup13 · 2026-09-14
- 研究者激辩：AI 破解癌症若实证有效，arXiv 该不该拒收 — IanArawjo · 2026-09-14
- cESA协议：一次对照标注多个译文，更快更稳的机器翻译人工评测 — zouharvi · 2026-09-14
- 把评测当老虎机：动态分配标注预算，优先评最优模型 — zouharvi · 2026-09-14
- Looped Flows 论文：扩散去噪+循环推理，ARC-AGI-1 达 58.8% — LucaAmb · 2026-09-14
- rankECE：用相邻排序比较替代分箱，更可靠地度量模型校准误差 — _onionesque · 2026-09-14