研究者炮轰 Transformer 研究:只有跑分没有科学
AI 研究者 gerardsans 在与 Alex G. Dimakis 的讨论中尖锐批评当前研究现状,认为学界并没有一门真正的「transformer 科学」,现有研究只有推理跑分而缺乏科学分析,当前环境也不奖励真正的科学进步,未来可能还要忍受几十年的渐进式改进。他还分享了自己的探索方向,尝试将 dead neurons 与训练动态联系起来,寻找被主流忽视的研究路径。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 研究者吐槽:当前环境不奖励真正的科学进步 — gerardsans · 2026-11-19
- 研究者炮轰transformer研究:只有推理跑分,没有科学 — gerardsans · 2026-11-19