Thinking Machines 开源可变循环模型:推理时自选循环次数,26.4B 参数
danielhanchen · x · 2026-11-21
Thinking Machines Lab 发布开源研究模型 TML-d24-varloop-research(Apache 2.0),是其 Inkling 2 Mini 的"可变循环"版本:固定权重下,中间 12 层循环执行的次数可在推理时自由选择(训练覆盖 1–5 次循环),便于研究额外循环计算对模型能力的影响。
架构要点:
- 24 层 decoder-only transformer,稀疏 MoE 前馈层(128 专家选 8),注意力为局部/全局混合层
- 原生多模态:图像经 ViT 编码,与文本共享隐空间联合处理
- 总参数 26.4B,单次循环激活 3.4B;每增加一次循环约增加 1.0B 有效激活参数(3 次循环 5.4B,5 次 7.4B)
- 支持 NVFP4/MXFP8 数值格式
基准表现(mini-swe-agent v2.4.6): 循环次数显著提升智能体编码能力——SWEBench Verified 从 1 次循环的 56.3% 升至 5 次的 79.6%,SWEBench Pro v2 (Hard) 达 78.9%,均超过固定 3 次循环的 Inkling 2 Mini(79.2% 为 Verified、77.9% 为 Pro);DeepSWE v1.1 上 5 次循环达 48.2%。总体呈现"循环越多越强、3 次后收益递减"的规律。
「模型」频道最新
- Google AI Pro 用户额度突然归零:Antigravity 显示周限额 0%,4 天后刷新 — boyus · 2026-11-21
- 开发者实测:Windows 观测应用弃 GLM 5.3 Flash 改用 Inkling 2 Small — michellechen · 2026-11-21
- 开发者自建系统量化世界模型可靠性:测量应先于训练 — PrateekVJoshi · 2026-11-21
- 用户盛赞 ChatGPT ultrafast 模式:用过就回不去普通速度了 — TheMoonMidas · 2026-11-21
- 美国众议院 PRC 模型报告:首要建议是扶持本土开源权重模型 — evijit · 2026-11-21
- FrontierBioML 基准发布:25 项计算生物任务,Claude Mythos 5.2 居首 — afurgs · 2026-11-21