「decoder-only」从不是解码器:研究者吐槽 Transformer 命名积误
TimDarcet · x · 2026-09-10
研究者 TimDarcet 提出一个长期被忽视的术语问题：所谓「decoder-only」Transformer 从来就不是解码器，也永远不会是——它从数据空间映射到数据空间。如果想说它的注意力是因果(causal)的，直接叫它 causal 就好。
他指出误用根源：Vaswani 等人的原始论文中 encoder 用双向注意力、decoder 用因果注意力，NLP 社区由此把「编码/解码」与这两种注意力方式错误地划上了等号。
「研究」频道最新
- Grauman ECCV 演讲续篇:4D 理解是当前最大的缺失问题 — ducha_aiki · 2026-09-10
- Kristen Grauman 登 ECCV 2026,谈机器感知到人类专长的演进 — ducha_aiki · 2026-09-10
- 深度估计项目 ZipDepth 现身 ECCV 2026 海报 386，现场实时生成深度图 — AntonObukhov1 · 2026-09-10
- EgoPHI 技术细节:图注意力融合 3D 几何,逐顶点预测接触与力方向 — cholz · 2026-09-10
- 新论文：利用群作用与对称性让 Ising 模型马尔可夫链混合提速 — michaelchchoi · 2026-09-10
- 新论文提出 OPRD:弱教师反向蒸馏让学生模型超越教师上限 — algo_diver · 2026-09-10