Inkling模型参数与架构细节及SGLang支持
BanghuaZ · x · 2026-07-16
Thinking Machines 推出的开源模型 Inkling 总参数量达 975B，活跃参数为 41B（MoE 架构），支持最高 100 万上下文，原生具备文本、图像和音频推理能力。
架构与推理优化：
- 采用全新架构，包括 ShortConv、相对位置编码注意力机制和共享专家 MoE。
- SGLang 已提供全面支持：包含 PD 分离、多 LoRA 服务、HiCache，以及由 Modal 训练的 DFlash checkpoint。
- 实现了 prefill 阶段的全 CUDA graph 优化和 MXFP8 KV cache。
所属事件:Thinking Machines 首发开权重 Inkling(169 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18