两人团队用 AI 两周生成 20 个推理引擎,小米模型解码达 1300 tok/s

两人团队 INT21 发布研究报告《An AlphaGo Moment for Inference?》,用 AI 自动生成推理引擎,两周内造出 20 个引擎,横跨 15 个模型。实测中自研引擎运行小米 1T 参数模型时解码吞吐达 1308 tokens/s,INT21 称之为推理领域的 AlphaGo 时刻,主张 agentic 时代推理延迟即业务延迟。Bing Xu 转引该基准并评论称人类手写 AI 软件将很快成为历史,社区对其演示视频表示惊叹。

2026-09-29 ~ 2026-09-30 · 3 条相关