Loopback Transformer:分离控制输入强度与更新权重,更少参数更低损失
uw-madison · hf · 2026-11-16
威斯康星麦迪逊、UCSB、Caltech 与 Microsoft 的论文提出 Loopback Transformer,统一视角重新审视残差循环 Transformer(Looped Transformer)。
- 核心思路:循环结构通过复用共享块减少参数,但参数共享并未决定重复计算结果如何被复用。作者以「深度-记忆」视角分析残差连接:完整块输出同时包含输入和新更新,对其加权必然连带重加权已携带的历史;若把共享栈的输入放在独立路径、逐次读取各步更新,就能分离控制输入强度、总更新权重、各步分配三个量。
- 机制实现:几何衰减设定总更新权重并提供近因先验,注意力学习如何分配权重。
- 效果:在 ClimBix 上,Loopback 以标准 Transformer 40–75% 的参数(不含 embedding 和输出头)达到更低的验证损失,下游精度也高于标准与循环残差基线。
「研究」频道最新
- AI 研究者 Ayush Sekhari 加入康奈尔理工任 CS 助理教授 — thegautamkamath · 2026-11-16
- 港科大 HALO 系统:全身移动操作示教采集提速至 2.9 倍 — Robbyant-Research · 2026-11-16
- 研究者质疑自动化实验室:别只自动化最容易的那一步 — arjunrajlab · 2026-11-16
- 让 LLM 重试游戏时写自我笔记,反而记住了导致失败的招 — shoumikgoswami · 2026-11-16
- 新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径 — kalyan_kpl · 2026-11-16
- Lagomics 称肽药人体数据周期从 10 年缩到 4-6 个月 — niloofar_mire · 2026-11-16