MiniMax 工程师实测 M3.1 Flash：快 1.9 倍的模型未必更快交付
AI Engineer · youtube · 2026-10-21
MiniMax 的 Morgan Suo 在 AI Engineer 大会上以一个真实研究任务（分析师核查电路板供应商是否将 AI 需求转化为现金流）为标尺，拆解 M3.1 Flash 模型内部的各项优化——长输入稀疏注意力、4-bit KV cache、低精度专家、投机解码、服务器负载与推理预算——并强调「模型更快」只有在最终交付成果变快时才有意义。她演示了报告中「答案快但来源错」的翻车情况，并给出判断模型切换是否划算的方法：核查来源与计算、统计一份可用报告的完整成本、让结果可复现。
要点：
- 每项省算力的优化都可能悄悄损失准确率或增加等待时间，需要整体评估
- 评估模型切换要看整个任务的端到端成本，而非单 token 吞吐
- 图中数据显示吞吐提升 1.9 倍、p95 首 token 7.9s，但聚合输出质量随配置变化明显
「Infra」频道最新
- antirez 试用 DHH 赠送的 Omarchy 系统,计划适配大模型 SSD 流式加载 — antirez · 2026-10-21
- 传 NVIDIA 中国订单达 350 亿美元，实际只能交付 5-10% — emmanuelvivier · 2026-10-21
- 传英伟达中国订单达350亿美元，实际供货仅5–10% — emmanuelvivier · 2026-10-21
- willcb 补充:前沿实验室开源大部分生产推理栈确实难得,但今天无重大新技术 — willcb · 2026-10-21
- swyx 回应质疑:供不应求的市场里,token 越多收入越高而非价格越低 — swyx · 2026-10-21
- Qwen3.8-Flash-Next 压到 1.66bpw 仍稳定，完整塞进单张 5090 — Unstable_Llama · 2026-10-21