Full Bandwidth Transformer 可末层保留信息,深度利用更优
JohnCLangford · x · 2026-09-06
John Langford 推串的延续:与传统 Transformer 相比,Full Bandwidth Transformer 的初始层可承担深层计算,最终层则能保留相关信息而非丢弃,因此深度利用更好、深度也更多;梯度还可以自由抑制来自先前 token 的无用信息。
所属事件:Langford 探讨 Transformer 信息丢弃与架构设计启示(3 条相关)→
「研究」频道最新
- OpenAI 首次公开模型加速内部研究数据,呼吁行业透明化 RSI 进展 — kliu128 · 2026-09-06
- 研究者呼吁实验室在 RL 训练中加入重构与删除类编码任务 — kuza55 · 2026-09-06
- 1958 年感知机被双向误读:NYT 吹捧意识机器,11 年后被打入冷宫 — techNmak · 2026-09-06
- dair-ai 本周 AI 论文榜：Declarative Attention 居首 — dair_ai · 2026-09-06
- 长文反驳功能主义：仅保留模式并不能免费换来意识 — pwlot · 2026-09-06
- 意识争论:数字模拟无法实例化因果属性,丘奇-图灵论题救不了 — pwlot · 2026-09-06