Looped Transformer 的扩展研究
BlackHC · x · 2026-07-18
介绍 DeepLoop: Depth Scaling for Looped Transformers。
核心信息是：有传言称一些前沿模型本质上像是“48 层 Transformer 循环两次”（48L × 2），这篇工作提出用 looped transformer 作为研究对象，并重点解决它的稳定性与可扩展性问题。
重点在于：不是单纯复述一个模型结构传闻，而是把“循环堆叠”的 Transformer 作为可训练、可扩展的架构来推进。
所属事件:DeepLoop研究探索循环Transformer深度缩放(2 条相关)→
「研究」频道最新
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- EMNLP 2026 主题演讲背后的论文：用 bigram 模拟语言习得 — najoungkim · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26