Looped Transformer 详解:Inkling 2 Mini 中间 12 层循环 3 次实现 48 层深度
Prompt Engineering · youtube · 2026-11-22
Prompt Engineering 频道发布长视频,以 Thinking Machines 新开源的 Inkling 2 Mini 为例讲解 looped transformer(循环 transformer)架构。
核心机制
- 模型共 24 层,中间 12 层对每个 token 循环执行 3 次,等效 48 层计算步骤,不增加权重存储。
- 思路源自 Universal Transformers(2018),类似工作还包括 ByteDance Ouro 与 NVIDIA Dory。
- 采用 MoE 架构,可跑在笔记本电脑上;Ollama 已支持本地运行(Mac / DGX Spark)。
循环次数的收益与代价
- 提供 1–5 次循环的「pass 旋钮」:更多循环可用更短的 thinking 达到同等推理效果。
- 循环能提升推理深度,但有一样东西不提升(详见视频)。
- 代价在内存与计算的分配上。
争议点:把推理放进循环内部引发担忧,因为会削弱对 chain-of-thought 的外部监控能力;Goodfire 已发布对 Inkling 2 Mini 的可解释性研究。
视频所有 benchmark 数据均来自 Thinking Machines 官方在研究版模型上的测量。
「模型」频道最新
- 博主让 Claude 读自己的博客后,模型认错标量界定论证 — bremen79 · 2026-11-22
- 实测对比:Gemini 4 Neon 像素画最强,但成本慢到离谱 — Angaisb_ · 2026-11-22
- Inkling 2 Mini 去审查版 v2 发布:自我蒸馏后有用回答率从 52% 提至 79% — Turbulent-Sky5396 · 2026-11-22
- 上一代模型配对工具链反超下一代:KYNEX 在 ExtractBench 92.97 F1 胜 GPT-6 Astra — the-random-guy-2002 · 2026-11-22
- 研究者称用 Gemini 在纳米光学领域做出有望冲 Nature 的发现 — xennygrimmato_ · 2026-11-22
- Claude 写作新癖好:多余的连字符和分号成新「破绽」 — bttyeo · 2026-11-22