自研引擎跑小米 1T 参数模型达 1300 tok/s
bookwormengr · x · 2026-09-30
bookwormengr 对 @bingxu 的引擎展示表示惊叹,后者回应称其自研推理引擎可运行小米的 1T 参数模型,吞吐达到 1300 tokens/s,附带演示视频。
该数字若属实,对超大 MoE 模型的端侧/本地推理速度是相当激进的表现,但帖内未披露引擎实现细节与硬件配置。
所属事件:两人团队用 AI 两周生成 20 个推理引擎,小米模型解码达 1300 tok/s(3 条相关)→
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16