阿里两篇论文拆解循环 Transformer：省 33% 参数反而更准
量子位 · wechat · 2026-09-05
GPT-6 Astra 曝光后，「循环深度」（recurrent depth，让同一组 Transformer 层反复运行以加深计算）一夜爆火，但也引发监测难题与安全争议，OpenAI 首席科学家 Jakub Pachocki 被迫回应。量子位此文梳理了循环架构的核心卡点——「计算冗余」：首个 core loop 更新巨大，后续几轮 hidden state 变化迅速缩小，呈现「空转摸鱼」。
阿里及合作高校的两篇论文分别从两个角度解决这一问题：
MeSH（ICLR 2026）——管「每轮拿什么算」
- 诊断出三大症状：后续循环更新萎缩、相邻循环 CKA 相似度极高、hidden state 奇异值谱塌缩到低维；归因于「计算无分化」与「信息过载」。
- 方案：引入 Memory Buffer 记忆槽 + 每轮、每 token 独立的读写路由器，动态分流历史信息。
- 效果：Pythia-1.4B 级别减少约 33% 非嵌入参数，零样本平均准确率反而从 49.50% 升至 50.56%，额外计算开销仅约 0.014%。
SpiralFormer（EMNLP 2026）——管「每轮以什么粒度算」
- 让每轮循环处理不同分辨率的序列：先压缩到 1/8 长度看全局，再逐级放大到 1/4、1/2、全序列抠细节，并做右移防止泄露未来信息。
- Probing 实验证实模型真实学到「先全局后局部」的注意力分工，而普通 LoopedFormer 该趋势弱且不稳定。
- 效果：参数量不变、计算量从 14.08 TFLOPs 降至 13.13T，5-shot 平均准确率从 51.93% 提高到 54.37%。
- 还发现循环层占比呈 U 形曲线，30%-40% 最佳，打开了新的 Scaling 维度。
文章认为，这两篇工作补上了循环 Transformer 缺失的「分工」，为「不堆参数也能变强」的下一代高效 LLM 路线提供了实证支撑。
「模型」频道最新
- 爆料称月之暗面正筹备发布 Kimi K3.1 — beffjezos · 2026-10-23
- IBM CEO：最佳开源模型来自中国，西方落后 6-12 个月 — victor_explore · 2026-10-23
- ArchitectureIQ 基准：GPT-5.6 Sol 训练直觉达 76.4%，仍逊于人类部分领域 — ZimingLiu11 · 2026-10-23
- abliterated版GLM-5.3上线,10美元即得「世界级渗透测试员」 — deedydas · 2026-10-23
- DSH 框架吊打 Codex：更省 token、更快、更强，唯 FrontierCode 掉分 — teortaxesTex · 2026-10-23
- 34.5万条轨迹刻画 AI「性格」:Claude 最有规划性,GPT-5.5 最不活跃 — mdredze · 2026-10-23