两人团队用 AI 两周生成 20 个推理引擎,小米模型解码达 1300 tok/s
两人团队 INT21 发布研究报告《An AlphaGo Moment for Inference?》,用 AI 自动生成推理引擎,两周内造出 20 个引擎,横跨 15 个模型。实测中自研引擎运行小米 1T 参数模型时解码吞吐达 1308 tokens/s,INT21 称之为推理领域的 AlphaGo 时刻,主张 agentic 时代推理延迟即业务延迟。Bing Xu 转引该基准并评论称人类手写 AI 软件将很快成为历史,社区对其演示视频表示惊叹。
2026-09-29 ~ 2026-09-30 · 3 条相关
- INT21 称两周造 20 个推理引擎,MiMo 解码达 1308 tokens/s — bingxu_ · 2026-09-29
- AI 生成推理引擎实测:小米模型跑出 1300+ tok/s,称 AlphaGo 时刻 — bingxu_ · 2026-09-30
- 自研引擎跑小米 1T 参数模型达 1300 tok/s — bookwormengr · 2026-09-30