Inkling 开放模型支持 1M 上下文
simonguozirui · x · 2026-07-16
Inkling 的首个开放模型发布，强调原生多模态推理和开放栈支持。
关键信息
- 模型规模：975B total / 41B active MoE
- 上下文长度：最高 1M context
- 能力：原生支持 文本、图像、音频 推理
- 发布形态：开放权重，支持 serving 和 RL
工程与部署支持
- SGLang 和 Miles 在 Day 0 就提供推理支持
- 采用新架构：ShortConv、带相对位置编码的 attention、shared expert sink MoE
- 推理侧做了深度优化：prefill full CUDA graph、MXFP8 KV cache
- 训练侧支持 full parameter 和 LoRA RL，并通过自定义 Megatron 后端、routing replay、跨运行时参数同步等机制保证训练/推理一致性
整体看，这条更像是一次“模型 + 推理/训练栈”同步上线的开放模型发布。
所属事件:Thinking Machines 首发开权重 Inkling(169 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18