Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文
mervenoyann · x · 2026-11-21
Thinking Machines Lab 发布 Inkling 2 Mini,一款面向本地部署的循环 Transformer 模型:多模态 MoE 架构,总参数约 26B,每 token 激活仅约 3B。核心技巧是部分层循环访问 3 次,以少量物理参数换取更高有效容量;支持 100 万 token 上下文,可输入图像和文本。
- 权重以混合精度发布,含 NVFP4 和 MXFP8 专家权重
- 附带 DSpark 投机解码 drafter,以小内存代价加速推理
- Hugging Face 团队 vibe test 后称其编码能力出色,已在 transformers、llama.cpp、MLX、SGLang 中提供支持
官方基准图显示,在 AA Intelligence Index v5.0、Terminal-Bench 4.0、FrontierCode 2.0、DeepSWE v1.1 等基准上,该模型对比 Gemma 4 31B、Qwen3.8-27B 等同级别模型成绩领先。
「Infra」频道最新
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21
- vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms — vllm_project · 2026-11-21
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21
- vLLM 首日支持 Thinking Machines 新循环 Inkling 模型 — vllm_project · 2026-11-21
- Starcloud 自建太空数据中心花 250 万美元,已把 H100 送上天 — chetanp · 2026-11-21