Inkling 开源模型发布
BanghuaZ · x · 2026-07-16
SGLang 转发并介绍了 Inkling 的首个开源模型发布：
- 总参数 975B，激活参数 41B MoE
- 支持最高 100万上下文
- 可在 文本、图像、音频 上原生进行推理
- Serving 和 RL 支持已同步上线，可以在开源栈上直接运行和微调
帖子还强调了其架构和部署侧优化：
- 新架构包括 ShortConv、带相对位置编码的 attention、共享 expert sink MoE
- 推理侧做了 full CUDA graph、MXFP8 KV cache 等优化
- 训练侧提供 全参数与 LoRA RL，并通过定制 Megatron 后端、routing replay 和跨运行时参数同步来保证训练/推理一致性
- SGLang 和 Miles 提供 Day 0 支持
所属事件:Thinking Machines 首发开权重 Inkling(169 条相关)→
「Infra」频道最新
- 双 DGX Spark 实测：GLM-5.3-Flash 写作与视觉胜过 DeepSeek-V4-Flash — kuhunaxeyive · 2026-09-03
- Jeff Dean 2007 年幻灯片流出：数据中心硬件故障实录 — SumitGup · 2026-09-03
- 谷歌 Hot Chips 发布第八代 TPU:一年两款芯片,推理训练分开设计 — firstadopter · 2026-09-03
- 数据中心耗水是迷思？现代机房多用闭路冷却，用水仅如写字楼 — GlenBradley · 2026-09-03
- 推理工程吃香：vLLM/SGLang 搭副本加缓存路由核心配方 — GabGarrett · 2026-09-03
- Databricks 在 VLDB 2026 主推 agent 原生数据基础设施 Lakebase — matei_zaharia · 2026-09-03