Looped Transformer 深度复盘：复用层多算几轮，哪些任务才值得？
ArchitectingAI · reddit · 2026-10-01
作者在学习小组做了关于 looped Transformer 的分享：不增加参数量，复用同一组 Transformer 层进行额外计算。核心问题是固定参数量下，哪些任务值得为额外的循环付出更多 FLOPs 和延迟——迭代式和组合式任务看起来最有前景。
- 梳理了从 Universal Transformers 到 looped Transformers 再到 Huginn 的技术脉络
- 提醒参数效率本身不等于系统更优，需要与计算量对齐的强基线对比
- 附完整演讲幻灯片 PDF，并征集循环深度击败标准 Transformer 的正反案例
「研究」频道最新
- Technion 提出误导图像压力测试:13 个 VLM 评审近两成标签被无关图片动摇 — Technion · 2026-10-01
- CISPA 研究:多智能体潜在通信通道可将有害服从从 27.9 推高至 76.9 — cispa · 2026-10-01
- Google 研究：教师用生成式 UI 自建教学模拟，教师评分 8/10 — dl_weekly · 2026-10-01
- 每次不到 1 美分,事后核查可抓住 61% 谎报完成的 AI Agent — alex_verem · 2026-10-01
- 从 GPU 显存瓶颈下手，Tri Dao 的 FlashAttention 如何成为大模型标配 — thisdudelikesAI · 2026-10-01
- ID Balancing 用 PID 控制论稳定 256 倍稀疏 MoE 训练 — teortaxesTex · 2026-10-01