字节跳动研究:循环 Transformer 计算效率反超,加深模型或非最优解
georgejrjrjr · x · 2026-09-03
针对『为什么不直接把模型做深』的常见质疑，作者结合字节跳动的新研究给出猜测：在数据受限的场景下，更少的 token 容量反而可能带来更好的泛化；而循环 Transformer（looped transformers）展示了计算效率不一定因此受损——作者称这是新发现。此前 looped transformer 常被认为不如标准深网络，这项工作改变了这一认知，对架构设计与算力分配有参考意义。
所属事件:字节研究表明循环 Transformer 计算效率更优，加深模型或非最优解(2 条相关)→
「研究」频道最新
- 实验显示模型能学会检测自身激活值是否被探针读取 — Sauers_ · 2026-10-18
- 定位探针检测机制:仅 user token 隐状态与单个注意力头决定行为 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18
- Qwen3-8B 实验证实:连只读探针都会被模型察觉 — Sauers_ · 2026-10-18
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 用哥德尔 β 函数在皮亚诺算术里编码图灵机纸带 — jessi_cata · 2026-10-18