Ofir Press 晒十年前拒稿信：开创性 embedding 共享论文曾被斥「LM 非现实任务」

OfirPress · x · 2026-09-06

AI2/普林斯顿研究员 Ofir Press 纪念自己入行做语言建模满十年：2016 年 1 月开始的首篇论文提出用同一矩阵同时作为 embedding 与（如今所称的）unembedding 层，2016 年 6 月投 EMNLP 2016 被拒。他晒出了当时的审稿意见：审稿人承认把输入输出 embedding 绑定并在 RNN 状态与输出 embedding 之间加投影矩阵确实改善了困惑度，但认为这些改动缺乏理论正当性，甚至质疑「语言建模不是现实任务」——而 weight tying 如今已是广为采用的标准技术，成了学术界评审眼光的著名反例。