循环 Transformer 该只循环中间层?研究者热议层循环设计
maxsloef · x · 2026-09-03
maxsloef 在讨论 looped transformer 设计时提出:与其把全部层都纳入循环,不如只循环中间约 2/3 的层——输入 token 到语义表征、语义表征到输出 token 的映射在首轮之后基本是死重,循环部分的带宽应留给更压缩的内部表征。他还给出一条经验法则:这类归纳偏置应通过实验检验,因为它们常在规模扩大后反而成为限制。
所属事件:研究者热议循环 Transformer 设计：该只循环中间层吗(3 条相关)→
「研究」频道最新
- 观点交锋:Transformer 是采样器不是运行时,残差流装不下结构化计算 — gerardsans · 2026-09-03
- 信息瓶颈播客直播:Jonas Geiping 聊循环深度模型与潜空间推理 — ziv_ravid · 2026-09-03
- ICLR 2027 去匿名化政策获赞，有学者呼吁投稿上限再砍到 5 篇 — peter_richtarik · 2026-09-03
- motion-bricks.cpp 开源：桌面 CPU 实时生成关键帧动画 — zhengyiluo · 2026-09-03
- Mostik 潜空间桥接大小模型：登顶 ARC-AGI 3，成本降至 1/20 — SimplyAnnisa · 2026-09-03
- 机制设计或成对齐新思路：不改神经网络,改游戏规则 — morqon · 2026-09-03