ACL'23 杰出论文:判别式模型泛化能力优于自回归
ACL'23 杰出论文奖得主回顾其研究,探讨判别式语言模型对 agent 的价值,指出语言模型原始定义本就是判别式的。实证显示,自回归模型 ArcaneQA 的输出分布严重偏向已见数据,导致从已见到未见数据的分布失配与泛化失败;而判别式模型 Pangu 在已见与未见数据上表现更稳定,展现出更强的泛化能力。
2026-09-24 ~ 2026-09-24 · 3 条相关
- ACL'23 杰出论文:判别式语言模型为何可能比自回归更泛化 — ysu_nlp · 2026-09-24
- 研究对比自回归与判别式模型:输出分布错位致泛化失败 — ysu_nlp · 2026-09-24
- 实证补充:判别式模型 Pangu 在未见分布上比 ArcaneQA 更稳 — ysu_nlp · 2026-09-24