循环 Transformer 实测:推理时间窗从 16 秒升至 37 秒,多跳任务受益最大
nrehiew_ · x · 2026-11-21
nrehiew 点评新发布的变长循环(variable looping)研究模型 TML-d24-varloop-research 的两组实验结果:
- 循环次数提升 no-CoT 能力但收益递减:不借助思维链的 50% 时间窗从 1 次循环的 16 秒升至 3 次的 37 秒,3 次以上基本走平;模型训练时最多只用过 5 次循环,跑到 10 次也没有明显退化。
- 多跳推理受益最明显:N-Hop Lookup 任务中,循环次数越多,能串联的 hop 数越多;标准 CoT 评测下增益最大的是长上下文检索,其次是数学/科学推理(HMMT、GPQA Diamond、HLE)和长程 agent 任务(SWE-bench Pro、BrowseComp),闭卷事实问答几乎不受循环次数影响。
- 针对「循环 Transformer 会损害 CoT 可监控性」的流行担忧,作者指出团队为开源研究目的放出了带不同循环设置的模型,可直接验证这一点。
「模型」频道最新
- 循环层数越多推理越省:3 次循环后收益递减,推理 token 反而更少 — nrehiew_ · 2026-11-21
- 团队开源可变循环模型 TML-d24-varloop-research,验证循环层数对 CoT 可监控性的影响 — nrehiew_ · 2026-11-21
- 发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能 — nrehiew_ · 2026-11-21
- Artificial Analysis 公布 Inkling 2 Mini 全量评测明细 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 每任务比 Qwen3.8 27B 便宜约 6 倍、快约 4 倍 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 以约 1/5 激活参数追平 Qwen3.8 27B 与 Nanbeige4.3-33B — ArtificialAnlys · 2026-11-21