ACL'23 杰出论文:判别式模型泛化能力优于自回归

ACL'23 杰出论文奖得主回顾其研究,探讨判别式语言模型对 agent 的价值,指出语言模型原始定义本就是判别式的。实证显示,自回归模型 ArcaneQA 的输出分布严重偏向已见数据,导致从已见到未见数据的分布失配与泛化失败;而判别式模型 Pangu 在已见与未见数据上表现更稳定,展现出更强的泛化能力。

2026-09-24 ~ 2026-09-24 · 3 条相关