循环 Transformer 设计细节:只循环中间层,算力等效增益 1.51-1.91 倍
nrehiew_ · x · 2026-11-21
nrehiew 继续拆解变长循环模型的结构设计:核心做法是只循环中间的 block(带 attention residual),首尾层保持单次执行——直觉是模型首尾层并不真正参与推理,而负责 embedding 与内部表征转换;残差则充当门控,把初始输入与每轮循环的输出混合。
配套实验支持这一设计:Inkling 2 Mini 共 24 层分 4 个 block,两个中间 block 循环 3 次,在 28 项评测中有 27 项上,循环中间 12 层的精度增益大于循环后 12 层;算力等效对比显示中间层循环(7-18 层)值 1.51-1.91 倍算力,而循环最后 12 层只有 1.24-1.36 倍。
所属事件:循环模型设计拆解:只循环中间层,等效算力增益近两倍(2 条相关)→
「研究」频道最新
- 物理嵌入 AI 预测冰川流动,误差降低超 50% — DynamicWebPaige · 2026-11-21
- 近千个 AI agent 跑三个月自发发明同行评审,936 篇论文零人工 — TheTuringPost · 2026-11-21
- agent 集群写 PDE 求解器,从南极冰盖数据自动发现新滑动定律 — DynamicWebPaige · 2026-11-21
- 用 Antigravity 智能体集群求解南极冰流 PDE,误差低于 0.5% — DynamicWebPaige · 2026-11-21
- 前 DeepMind 研究员发问:大脑「深在时间」,前沿模型靠循环打补丁? — yacinelearning · 2026-11-21
- 循环层数越多推理越省:3 次循环后收益递减,推理 token 反而更少 — nrehiew_ · 2026-11-21