MIT教授：代数结构可预测Transformer长度泛化能力
ProfBuehlerMIT · x · 2026-08-15
MIT教授ProfBuehlerMIT分享了一项有趣的研究，该研究使用Tilson的范畴作为代数工具，揭示了Transformer在结构化序列任务上何时以及为何能进行长度泛化。作者表明，对于某些任务，Transformer学到的计算在序列变长时仍能工作；对于其他任务，它学到的计算在训练范围内有效，但在范围外失效。任务的代数结构可以预测这种差异。这有助于更系统地设计训练课程、学习方法和架构，以促进能够外推的计算。
所属事件:代数与范畴论破解Transformer长度泛化之谜(2 条相关)→
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16