Loopback 架构用 75% 参数追平 3B 标准 Transformer 性能
pbaylies · x · 2026-11-23
转推对《Loopback Transformer: Towards a Unified View of Residual Looped Transformers》论文(arXiv 2611.07226,UW-Madison/UCSB/Caltech/Microsoft)的解读:
- Loopback Transformer 在 ClimbMix 验证损失上以 75% 的非嵌入参数达到深度匹配 3B 标准 Transformer 的水平(1.9849 vs 2.0005 nats)
- 从 191M 到 3B 规模,其验证损失低于标准 Transformer 和七种 looped residual 设计,13 个下游任务在 1.4B 与 3B 上平均准确率超过 1B 模型
- 关键发现:在 191M–374M 规模上,相比朴素 looping 的增益有 93.7–94.6% 来自「无参数的迭代衰减」(iteration decay)机制
- 论文从深度-记忆视角分析残差 looped 架构,将几何衰减总更新权重、近期先验与注意力分配解耦
所属事件:Loopback Transformer 用 40-75% 参数追平甚至超越标准架构(2 条相关)→
「研究」频道最新
- RoboQuest 基准:最强模型具身探索任务仅完成 23.2% — omarsar0 · 2026-11-23
- OpenAI 首次公开内部预训练困惑度曲线,提议以 perplexity 定行业安全标尺 — merettm · 2026-11-23
- AI 数学蜂群新成果:962 变量四次多项式被证明已是最优 — gleech · 2026-11-23
- AI 数学证明后的阐释整理工作,已因 OpenAI 准黎曼结果泛滥? — gleech · 2026-11-23
- CMU 发布 ExploitBench:把 LLM 网络攻击能力做成「阶梯」评测 — goyal__pramod · 2026-11-23
- 哈佛论文:SWE-Bench 更高分的编码模型并未干更多活 — rohanpaul_ai · 2026-11-23