Looped Transformers 让人重提 Deep Equilibrium Models 老论文
burny_tech · x · 2026-09-03
hayousoufiane 指出，Looped Transformers 的概念让他联想到 Equilibrium Models 文献，如 Bai 等人的 Deep Equilibrium Models（arXiv:1909.01377，NeurIPS 2019 Spotlight Oral）。该论文提出用求根法直接寻找隐层收敛的不动点，等价于无限深权重共享前馈网络，可通过隐式微分解析反传，训练与推理只需常数内存，在 WikiText-103 上以相近参数量媲美 SOTA，并将内存消耗最多降低 88%。
作者同时保留态度：循环模型在哪些情形下确实优于普通架构，仍不明确。
所属事件:循环Transformer之争：加深网络还是可变深度创新(8 条相关)→
「研究」频道最新
- Reddit 用户倡议建开源视频剪辑数据集,破解 LoRA 易崩问题 — Emergency-Shake4529 · 2026-10-18
- 新基准瞄准商业 Deep Research:联网检索+内部工具调用缺评测 — burkov · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 百年难题告破:5 页证明「无 Siegel 零点」,新证明正涌来 — Singularitarian · 2026-10-18
- 用 Opus 数小时设计出约 3.1 万美元开源低场 MRI 头部扫描仪 — DreamFly_13 · 2026-10-18
- 博士在自家棚屋建 Class 100 洁净室，开源家庭造芯片全流程指南 — jwt0625 · 2026-10-18