Thinking Machines 发布 Inkling-Small：276B参数仅激活12B
simonguozirui · x · 2026-07-31
Thinking Machines Lab 正式发布 Inkling-Small 模型。该模型为原生多模态架构（支持文本、图像、音频输入），总参数量达 276B，但每个 token 仅激活 12B 参数。
- 性能与成本：体积仅为原版 Inkling 的四分之一，但在能力上与原版相当，甚至在部分基准测试中表现更优，大幅降低了部署门槛。
- 推理优化：在 8 张 NVIDIA B200 上使用 SGLang，开启 DSpark 可实现 648 tok/s 的解码速度，不开启则为 288 tok/s。
- 微调支持：参数规模非常适合强化学习（RL），目前已全面支持 LoRA 和全参数微调，且 Miles 平台已验证支持多模态 RL。
- 部署细节：vLLM 也已提供支持，最低仅需 180GB 显存（NVFP4 格式）即可运行，支持高达 1M 上下文。
所属事件:Inkling-Small发布：276B参数12B激活，开源登顶ARC(48 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16