吴宇康梳理研究 looped Transformer 的三大动机
Kangwook_Lee · x · 2026-11-05
威斯康星大学教授 Kangwook Lee 梳理了学界研究 looped Transformer（循环权重共享架构）的三类不同动机：
- 更好的归纳偏置：架构可能更适合学习一大类算法；
- 训练效率：相同算力与数据下可能有更好的 scaling law，还可通过「先训练小模型再生长继续训练」省算力；
- 推理效率：支持更细粒度的系统优化，如批量推理、投机解码。
他指出学术研究者多关注第一点，前沿实验室关注第二点，系统研究者关注第三点。引用的 Ferenc Kapl 工作 则分析 looped/grown 模型偏向 in-context learning 还是 in-weight learning，假设是循环与生长只需学一次复杂电路，再沿深度自然复制。
「研究」频道最新
- GorillaWatch:自监督学习实现野外大猩猩个体重识别,WACV 2026 论文 — gdm3000 · 2026-11-05
- HPI 团队 AI 系统 GorillaMonitor 获国家地理德文版报道 — gdm3000 · 2026-11-05
- Translucent 语言智能体实现自主实验工程，代码与评测全开源 — YashasGunderia · 2026-11-05
- Floridi 团队新论文:把 Agent Harness 拆成八个组件做可移植规范 — mikeflache · 2026-11-05
- Zuse：面向 27 种欧洲语言的决策模型家族，27B 版本准确率达 87.5% — kalyan_kpl · 2026-11-05
- Nielsen 提出 merge-and-split k-means 启发式，可跳出 Lloyd 局部最优 — FrnkNlsn · 2026-11-05