AI 生成推理引擎实测:小米模型跑出 1300+ tok/s,称 AlphaGo 时刻
bingxu_ · x · 2026-09-30
两人团队 INT21 发布研究报告《An AlphaGo Moment for Inference?》,用 AI 自动生成推理引擎,两周内造出 20 个引擎,横跨 15 个模型与 SGLang、vLLM 对比:
- 小米 MiMo V2.6 Pro(约 8K 输入 → 1K 输出,8×B300):解码速度 1308 tok/s,远超 SGLang 的 540 与 vLLM 的 1011
- DeepSeek V4.1 Flash(8×B200):1844 tok/s,相比 SGLang(830)与 vLLM(791)加速 2.22×/2.33×
- GLM-5.3 与 GLM-5.3-Flash 上也领先,但部分工作负载下 INT21 首 token 延迟(如 1527 ms)抵消了解码优势
结论:AI 生成基础设施前景可观,但仍有未竟之处——不同工作负载、不同配置下表现差异明显,报告同时公布了全部测量数据。
所属事件:两人团队用 AI 两周生成 20 个推理引擎,小米模型解码达 1300 tok/s(3 条相关)→
「Infra」频道最新
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16