Thinking Machines 发布 Inkling 2 Mini:循环 MoE,3B 激活可本地跑
ariG23498 · x · 2026-11-21
Thinking Machines Lab 在 Hugging Face 发布 Inkling 2 Mini,主打本地部署、数据不出本机:
- 架构:循环 transformer(looped transformer),多模态 MoE,总参数约 26B、每 token 激活约 3B;部分层循环访问三次以提升有效容量
- 上下文:支持 1M token,接受图像与文本输入
- 量化与加速:混合精度发布,专家权重提供 NVFP4 与 MXFP8 格式;附带 DSpark drafter 用于投机解码加速,内存开销小
- 推理支持:transformers、Llama App 与 llama.cpp、SGLang、投机解码、MLX 等,含 benchmark 结果与 demo 实测
HF 团队(merve、pcuenq、ariG23498、guarin)撰写了官方介绍文章。
所属事件:Thinking Machines 发布 26B 循环 Transformer「Inkling 2 Mini」(10 条相关)→
「模型」频道最新
- Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己 — fatihdin4en · 2026-11-21
- KOL观察:Gemini 的「人格魅力」靠数据策展而非蒸馏取胜 — iruletheworldmo · 2026-11-21
- Inkling 2 Mini 本地跑通:26.4B MoE 仅需 16GB 内存,编码成绩同级最强 — simonguozirui · 2026-11-21
- 可解释性黑客松被搅局:全员疯传 Claude 攻克黎曼猜想 — burny_tech · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21