博客深挖 26B 循环 Transformer:一次向量减法让第四遍准确率翻倍
pandeyparul · x · 2026-11-22
DrHB 发布长文,拆解 Thinking Machines 的两个 26.4B 开源 MoE 循环 Transformer(Inkling 2 Mini 固定三遍、varloop 一到五遍)内部实际在算什么,并给出五项发现:
- Mini 循环、varloop 收敛:超过三遍后,Mini 的困惑度呈周期为三的振荡(3/6/9 遍好,中间崩坏);varloop 到九遍仍保持平稳。
- Mini 在向量中“数遍数”:当前是第几遍被编码在循环间传递的状态里,分布在数百个坐标上。
- 一个向量控制深度:减去它可让 Mini 两遍就停(困惑度 18.0→11.1);加上它则赋予第四遍能力,四表查找准确率从 34% 升到 74%。
- 后面的遍会重读提示词:在第二、三遍隐藏查找表后,两表准确率从 98% 跌到 33%,比单遍(91%)还差。
- 置信度决定深度:用 95% 置信度停止 varloop,在谜题类任务上平均 2.9 遍即可达到五遍的准确率,但普通文本上省不了算力。
文章还介绍了循环构建方式与逐遍分析方法的细节,是理解自适应计算深度机制的高质量一手实验复盘。
「研究」频道最新
- 发现首个含非 CCN 脯氨酸密码子的遗传密码:四种酵母改写 CUU/CUA 含义 — willdepue · 2026-11-22
- 博主展望 AI 驱动的数学理论「寒武纪大爆发」 — burny_tech · 2026-11-22
- 开源 visloc-rs:360°相机拍街景即可生成机器人仿真环境 — rsasaki0109 · 2026-11-22
- Sandberg:当前 AI 弱于概念生成,新证明将是冗长的「初等路径」 — anderssandberg · 2026-11-22
- Sandberg:把庞大证明压缩成洞见,或将成为一门新艺术 — anderssandberg · 2026-11-22
- 「初等证明」到底指什么:从数论传统到 AI 时代的重新诠释 — anderssandberg · 2026-11-22