Loopback Transformer:仅用 40-75% 参数超越标准 Transformer
Crazy-Repeat-2006 · reddit · 2026-11-22
一项新架构工作提出 Loopback Transformer,核心思路与结果:
- 动机:循环(looped)Transformer 通过重复应用共享模块减少参数量,但参数共享并不决定重复计算的结果如何被复用。作者从残差连接的「深度-记忆」视角分析:整块输出同时包含输入和新更新,对输出加权会连带重加权已有历史;改为单独读取每次更新、并把共享栈的输入放在独立路径上,即可分别控制输入强度、总更新权重和各更新的分配。
- 机制:几何衰减设定总更新权重并提供近因先验,attention 学习如何分配权重。
- 结果:在 ClimbMix 上,191M 到 3B 参考规模、训练 token 与执行深度对齐的条件下,Loopback 以 40-75% 的 transformer 参数(不含 embedding 与输出头)达到更低的验证损失;1.4B 和 3B 时十三项下游任务平均准确率更高;在 191M/374M/778M 上验证损失与任务均值均为最优,胜过标准 transformer 和七种循环残差设计。
代码与论文已公开。
所属事件:Loopback Transformer 用 40-75% 参数追平甚至超越标准架构(2 条相关)→
「研究」频道最新
- AI 数学家论 P=NP:多项式时间不等于实用快速 — alex_peys · 2026-11-23
- 1700 万行 Lean 证明获官方验证,黎曼假设形式化证明成立 — MickeySteamboat · 2026-11-23
- 弦论名家 Vafa 用 Claude 合作制作视频:或为弦论首个具体证据 — calabi_and_yau · 2026-11-23
- 黎曼猜想也被攻破,人们却在吵 LLM 会不会乘法 — lxrjl · 2026-11-23
- Loopback 架构用 75% 参数追平 3B 标准 Transformer 性能 — pbaylies · 2026-11-23
- RoboQuest 基准:最强模型具身探索任务仅完成 23.2% — omarsar0 · 2026-11-23