MiniMax M3.1 Flash 搭 SGLang 首 日破 1000 tok/s，单卡约 10 万 tok/s 吞吐
ying11231 · x · 2026-10-24
SGLang 团队与 MiniMax、NVIDIA、AMD、RadixArk 联合宣布 MiniMax M3.1 Flash 的 Day 0 生产级支持：bs=1 解码速度超 1000 tok/s。要点：
- 硬件覆盖 NVIDIA Blackwell/Hopper（GB300/B300/B200/H200）及 AMD Instinct MI350X/MI355X；
- 在 AgentX 编码 agent 负载、96 并发会话下单 GPU 总吞吐约 100K tok/s；
- 支持投机解码（MiniMax DSpark 草稿与 radixark 训练的 DFlash2 草稿）、HiCache 与多模态输入；
- MegaKernels 让单请求解码再快 2.15 倍，并可通过 Miles 跑 RL 训练。
所属事件:MiniMax M3.1 Flash 获 SGLang Day 0 支持，解码速度破千(2 条相关)→
「Infra」频道最新
- 推理框架 Strata 新增 Qwen 3.6 35B 支持,MI50 上解码速度不敌 llama.cpp — JsThiago5 · 2026-10-24
- Google Cloud 推出 CLI Remote MCP Server,Agent 免装 SDK 直跑 gcloud — rseroter · 2026-10-24
- Baseten 推出 RL 环境合作网络，联手多家公司为客户定制后训练环境 — baseten · 2026-10-24
- Bittensor 生态推理网关 Engy 日处理 token 破 103B，价格最低打到官方一折 — markjeffrey · 2026-10-24
- DeepSeek 单集群日处理 150 万亿 token,超四大平台开源推理总和 — natolambert · 2026-10-24
- Gradium 开源 31M 参数端侧 TTS 模型 Phonon,延迟仅 0.02 秒 — natesiggard · 2026-10-24