Thinking Machines 循环模型变体开源:编码表现持平 mini 甚至更优

SonglinYang4 · x · 2026-11-23

Thinking Machines 的研究者 Songlin Yang 宣布开源 TML-d24-varloop 研究变体(Hugging Face: thinkingmachines/TML-d24-varloop-research),称其在编码任务上与 mini 持平甚至更好,是一个 SOTA 级别的循环(looped)架构模型。

讨论源于 @bjoernpl 的观察:该模型在循环层之间不共享 KV cache,导致每 token 占 32KB(若全共享只需 16KB),长上下文时显存占用远超 Qwen 等模型,对本地推理影响很大。他提到一种折中方案——共享全局 KV cache、各循环层保留独立的局部 SWA cache——据称不损性能。

Songlin Yang 随后确认存在终端 KV 共享变体(即本次发布),编码表现与 mini 相当或更好。对本地部署与推理显存优化而言,这一设计选择是个关键话题。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →