研究者吐槽 Transformer 编解码器命名:一切只是注意力掩码差异
TimDarcet · x · 2026-09-10
jramapuram 发推表示一直无法理解 Transformer 中 encoder/decoder 的命名：本质上一切都只是 self attention 或 cross attention 加上不同的注意力掩码，并没有卷积时代那种体积变化；enc/dec 命名在 VAE 里才有意义，因为那里有瓶颈和后验学习。这条吐槽正值「encoder-decoder 回潮」的讨论背景（mervenoyann 发文并质疑 causal 的 encoder 算不算 encoder），是对 Transformer 架构命名法的一次简明技术辨析。
所属事件:研究者吐槽 Transformer 编解码器命名：本质只是注意力掩码差异(2 条相关)→
「研究」频道最新
- CMU 提出 TAHI 框架:让 AI 产出经得起专家署名的作品 — EchoShao8899 · 2026-09-11
- 机器苍蝇实现平稳直飞，还能从阵风中恢复姿态 — moyix · 2026-09-11
- 一个月内解决两个千禧年难题？热议可视化图被重制 — lishali88 · 2026-09-10
- AWS 提出 AEM 指标:按轮次分解定位多轮 Agent 对话的级联错误根因 — AWS ML Blog · 2026-09-10
- NVIDIA 开源 BioNeMo 推理库,曾为 AlphaFold 数据库省下大量算力 — AllThingsApx · 2026-09-10
- Johnson 2016《Perceptual Losses》获 ECCV 时间考验奖 — CSProfKGD · 2026-09-10