团队开源可变循环模型 TML-d24-varloop-research,验证循环层数对 CoT 可监控性的影响
nrehiew_ · x · 2026-11-21
针对「循环 transformers 会恶化 CoT 可监控性」的说法,nrehiew 介绍团队专门训练并开源了 TML-d24-varloop-research:因 Inkling 2 Mini 只支持固定循环次数,新模型在 1 到 5 次循环之间训练,已在 Hugging Face 公开,供研究循环次数对可监控性等属性的影响。
他还补充:发布的模型只用了训练量的 1/3,团队对其剪枝后又用 1T token 继续训练(对这种规模的模型来说是相当大的量),暗示还有更大的「internal inkling」计划。
「模型」频道最新
- 循环层数越多推理越省:3 次循环后收益递减,推理 token 反而更少 — nrehiew_ · 2026-11-21
- 循环 Transformer 实测:推理时间窗从 16 秒升至 37 秒,多跳任务受益最大 — nrehiew_ · 2026-11-21
- 发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能 — nrehiew_ · 2026-11-21
- Artificial Analysis 公布 Inkling 2 Mini 全量评测明细 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 每任务比 Qwen3.8 27B 便宜约 6 倍、快约 4 倍 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 以约 1/5 激活参数追平 Qwen3.8 27B 与 Nanbeige4.3-33B — ArtificialAnlys · 2026-11-21