Thinking Machines 开源 26B 可变循环模型,仅 2.7% 体积超越上代
ChengleiSi · x · 2026-11-21
Thinking Machines Lab(Mira Murati 公司)发布 Inkling 2 Mini(代号 Loopling):一个 26B 参数的循环 transformer(looped transformer),笔记本就能跑,AA Index 得分 20.1,几乎全面超越 594B 参数、今年 7 月发布的 Inkling 1.0,体积仅为其 2.7%。
同时按 Apache 2.0 开源研究用变体 TML-d24-varloop-research:
- 架构:24 层 decoder-only transformer,稀疏 MoE 前馈层(128 专家取 8);中间 12 层权重共享、可变循环次数(训练时 1-5 pass),循环次数在推理时可选;原生多模态,ViT 编码图像。
- 参数:26.4B 总参数,3.4B 激活;每多一次循环约增加 1.0B 有效激活参数(3 pass 约 5.4B)。
- 循环次数的实证发现:长上下文基准(GraphWalks BFS、MRCR v2)随循环次数增加而提升;但知识密集型基准(AA-Omniscience、SimpleQA Verified 等)不随循环增加而改善——说明额外循环计算主要增强长上下文与推理能力。
发布方称这展示了循环架构「以计算换参数」的迭代路线。
所属事件:Thinking Machines 发布 26B 循环模型 Inkling 2 Mini(111 条相关)→
「模型」频道最新
- 微软开放 USB4 RDMA:多台迷你 PC 拼内存跑 Qwen3-235B — JFPuget · 2026-11-22
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22