MiniMax M3.1 Flash 携手 SGLang 日内支持,单请求解码超 1K tok/s
MiniMax_AI · x · 2026-10-23
MiniMax 官方确认 M3.1 Flash 获得 SGLang day 0 支持,bs1 解码速度突破 1000 tok/s,可直接投产。
要点:
- 硬件覆盖广:NVIDIA Blackwell/Hopper(GB300/B300/B200/H200)与 AMD Instinct MI350X/MI355X
- AgentX 编码 agent 负载、96 并发下每 GPU 总吞吐约 100K tok/s
- 支持 MiniMax DSpark 与 radixark 训练的 DFlash2 投机解码草案、HiCache 及多模态输入
- MegaKernels 使单请求解码提速 2.15 倍;由 MiniMax、NVIDIA、AMD 与 radixark 联合完成,并可配合 Miles 跑 RL
「Infra」频道最新
- vLLM 详解 M3.1 Flash 部署:NVFP4 令权重缩 44.6%,并发容量升 2.7 倍 — vllm_project · 2026-10-23
- M3.1 Flash 在 Vera Rubin NVL72 上跑出每 GPU 191.5k tok/s 吞吐 — vllm_project · 2026-10-23
- 实测:agent 重试不关连接,每任务白烧约 148 tokens — No-Peanut-6988 · 2026-10-23
- 前 Google 工程师专注本地 AI:探索开源编码组合与音乐视频生成 — julianharris · 2026-10-23
- 「智能便宜到免费用电」:Claude Opus 价格降至 1/4,智能分数翻近三倍 — haider1 · 2026-10-23
- SK Hyper 拟建 3500 亿美元韩国数据中心,正与大厂和投资方谈融资 — dinabass · 2026-10-23