研究者炮轰 Transformer 研究:只有跑分没有科学

AI 研究者 gerardsans 在与 Alex G. Dimakis 的讨论中尖锐批评当前研究现状,认为学界并没有一门真正的「transformer 科学」,现有研究只有推理跑分而缺乏科学分析,当前环境也不奖励真正的科学进步,未来可能还要忍受几十年的渐进式改进。他还分享了自己的探索方向,尝试将 dead neurons 与训练动态联系起来,寻找被主流忽视的研究路径。

2026-11-19 ~ 2026-11-19 · 2 条相关