Thinking Machines 循环模型变体开源:编码表现持平 mini 甚至更优
SonglinYang4 · x · 2026-11-23
Thinking Machines 的研究者 Songlin Yang 宣布开源 TML-d24-varloop 研究变体(Hugging Face: thinkingmachines/TML-d24-varloop-research),称其在编码任务上与 mini 持平甚至更好,是一个 SOTA 级别的循环(looped)架构模型。
讨论源于 @bjoernpl 的观察:该模型在循环层之间不共享 KV cache,导致每 token 占 32KB(若全共享只需 16KB),长上下文时显存占用远超 Qwen 等模型,对本地推理影响很大。他提到一种折中方案——共享全局 KV cache、各循环层保留独立的局部 SWA cache——据称不损性能。
Songlin Yang 随后确认存在终端 KV 共享变体(即本次发布),编码表现与 mini 相当或更好。对本地部署与推理显存优化而言,这一设计选择是个关键话题。
「Infra」频道最新
- MLX 修一个小 bug,Mac Studio 本地推理提速近 3 倍 — SumitGup · 2026-11-23
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- Nvidia 双面叙事:财报创纪录,同时深陷监管调查与治理风波 — emmanuelvivier · 2026-11-23
- Oracle 融资 200 亿美元加码 AI 基建,力撑 OpenAI 大单 — emmanuelvivier · 2026-11-23
- RX 6700 XT 跑量化小模型:分叉优化后 prefill 近千 tok/s — ireallydontcare00 · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23