DeepLoop 发布:循环两次的 Transformer 深度扩展新方案
burny_tech · x · 2026-09-04
Yifan Zhang 引述称部分前沿模型可能本质上是 48 层 Transformer 循环两次(48L x 2),并顺势发布 DeepLoop 项目,研究如何让循环 Transformer(Looped Transformer)在深度扩展上稳定且可扩展。循环结构用较少参数换取更深的有效计算,这一思路与前沿模型的 rumored 架构呼应,项目代码已在 GitHub 开源。
所属事件:DeepLoop 论文：循环 Transformer 可稳定扩展深度(2 条相关)→
「研究」频道最新
- 物理学家 Sabine：别把人类可理解性当作科学的前提，AI 才是出路 — coherence · 2026-10-21
- 有人把真实海洋幼虫的 2675 神经元接线图搬进 3D 模拟，自己游起来了 — eptwts · 2026-10-21
- 斯坦福 T2-z：机器人戳一下桌面，任务成功率从 34% 提到 73% — stanfordnlp · 2026-10-21
- 李飞飞团队发布 FACT：力觉感知的机器人灵巧操作基础模型 — stanfordnlp · 2026-10-21
- 研究者预告新论文：大模型延迟可满足机器人实时任务 — ManlingLi_ · 2026-10-21
- NVIDIA 开源机器人数据引擎 Flora,成本仅 GPT-6 Astra 的 1/125 — DrJimFan · 2026-10-21