Evaluation of Text Generation: A Survey
Asli Celikyilmaz, Elizabeth Clark, Jianfeng Gao
cs.CL, cs.LG
2020-06-26
Facebook AI 与微软研究院的综述把 NLG 评测方法分成三大类,用硬数据指出无训练自动指标在开放式生成里集体失灵。
文本生成越强,评测工具越跟不上。到 GPT-2/3 能写出难以分辨的长文时,衡量「生成得好不好」的仪器还是机器翻译时代留下的 n-gram 匹配公式。人工评测名义上是金标准,执行起来又贵又乱:Lee et al. 抽查 ACL 和 INLG 的 NLG 论文,只有 57% 写明了参评人数;另一份 135 篇生成论文的样本里,报告标注者一致性的只有 18%。Facebook AI、华盛顿大学和微软研究院的三位作者写了这篇专门讲 NLG 评测的综述,把近年的评测方法归成三大类,末尾用文档摘要和长文本生成两个案例收尾。
三类的切法沿着两条维度:指标多依赖人,以及要不要训练。
无训练指标成立的前提是输出与参考文本有大量字面重叠。闲聊、故事生成这类开放式任务答案不唯一,前提一塌,整套指标就没了根基,这条线索贯穿全篇。
最有说服力的一组证据在 Table 3。对话例子里,模型回复「Oh sure! Heard the film about Turing is out!」在上下文中完全合理,对参考答案的得分是 BLEU 0.0、ROUGE 0.0、WMD 0.0;图像描述的两句近义改写,BLEU 也只有 0.20。
| 发现 | 出处 | 数字 |
| 生成式单句摘要含幻觉 | Maynez et al. (2020) | 超过 70% |
| ACL 2018 生成论文含人工评测 | Hashimoto et al. (2019) | 20 / 26 |
| 论文报告参评人数 | Lee et al. (2021) | 57% |
| 论文报告标注者一致性 | Amidei et al.(135 篇样本) | 18% |
| 生成论文未说明评测维度 | Howcroft et al.(20 年样本) | 约 25% |
逐个指标的判决也编得很清楚:BLEU 在机器翻译之外未经充分验证,剔除离群样本后与人工判断的相关性明显下降(Mathur et al., 2020);Caccia et al. 发现 BLEU 满分的文本语法正确却缺语义和全局连贯;摘要任务上 SMD 与人工判断的相关性优于 ROUGE,图像描述上 SPICE 胜过 CIDEr。
这是一张选指标的地图。给生成系统做评测前先判断任务有没有唯一正确输出:有,无训练指标便宜够用;没有,BLEU 类分数不仅不反映质量,还会给完全合理的输出打零分。机器学习指标一支,即 ADEM、HUSE 从人工判断数据里学打分模型,正是今天 LLM-as-judge 的直系前身,范式在 2020 年已铺完。HUSE 还能识别人类裁判漏掉的 低多样性输出。现在大模型圈重新吵的评测问题,指标与人工判断脱节、幻觉、裁判可靠性,这篇都系统摆过证据。它不提新方法,价值全在整理。
文献覆盖止于 GPT-3 时代(v2 更新于 2021 年 5 月),没有指令微调模型,更没有 LLM-as-judge。作者自己警告,统一化评测平台带来一致性的同时也带来僵化,可能过拟合到错误目标。ADEM 类裁判被记录为偏保守,给合理回复打低分,学习型指标会继承训练数据里的偏差。另一个实际限制:文中各数字来自设置互不相同的不同论文,不可直接横向比较,综述是汇编,没有做受控实验。