Thinking Machines 发布 26B 循环 Transformer「Inkling 2 Mini」
Thinking Machines Lab(Mira Murati 团队)于 11 月 21 日发布开源权重模型 Inkling 2 Mini:一个总参数 26.4B、激活参数仅 3.4B 的 MoE「循环 Transformer」(looped transformer),小到可以在笔记本电脑上运行,并问鼎小模型编码榜单。其核心创新在于让模型不写出推理过程也能「想得更久」。
已确认
- 架构:模型共 24 层,中间 12 层对每个 token 循环执行三次,首尾各 6 层只跑一次;循环机制让模型「推理更多、写得最少」。
- 可监控性发现:团队报告随循环次数增加,无 CoT(不写出思维链)能力上升;在该规模下思维链变短但仍可读,可监控性未见明显下降。团队同时发布一个 variable-loop 研究模型供社区自行验证。
- 可用渠道:在 32GB 内存的 Mac 上可通过 Ollama 运行,也支持 NVIDIA DGX Spark;已上线 Tinker 供推理和微调。
尚未确认
- 团队在发布中承认循环架构在可监控性方面引发担忧,虽然本次实验未见明显下降,但在更大规模或其他设置下是否仍成立,仍待进一步研究。
为什么重要
- 循环 Transformer 提供了一条不同于长思维链的「隐式深思」路线:计算量随循环次数增加而参数量不变,为小模型提供了低成本增强推理能力的可能。
- 模型权重开源、可本地运行并支持微调,便于社区复现与在其上做可监控性、variable-loop 等方向的研究。
2026-11-21 ~ 2026-11-21 · 10 条相关
一手来源
- Thinking Machines 发布 26B 循环transformer Inkling 2 Mini,笔记本可跑 — thinkymachines ·
- Inkling 2 Mini 架构细节:24 层中中间 12 层循环三次 — thinkymachines ·
- Thinking Machines:循环次数越多无 CoT 能力越强,可监控性未下降 — thinkymachines ·
- Thinking Machines 发布循环 transformer Inkling 2 Mini,26B 参数问鼎小模型编码榜 — SonglinYang4 · 2026-11-21
- 【源头】Inkling 2 Mini 架构细节:24 层中中间 12 层循环三次 — thinkymachines · 2026-11-21
- 【源头】Thinking Machines:循环次数越多无 CoT 能力越强,可监控性未下降 — thinkymachines · 2026-11-21
- Inkling 2 Mini 可在 32GB 内存 Mac 上通过 Ollama 运行 — thinkymachines · 2026-11-21
- Mira Murati 团队发布 26B 循环transformer Inkling 2 Mini,可在笔记本运行 — miramurati · 2026-11-21
- Thinky Machines 开源 26B 环形 transformer Inkling 2 Mini,可跑在笔记本上 — SonglinYang4 · 2026-11-21
- Thinking Machines 发布 26.4B MoE 小模型 Inkling 2 Mini,16GB 内存可本地跑 — SonglinYang4 · 2026-11-21
- Thinking Machines 发布 Inkling 2 Mini:循环 MoE,3B 激活可本地跑 — ariG23498 · 2026-11-21
另有 2 条近重复转述:thinkymachines · victormustar