INT21 称两周造 20 个推理引擎,MiMo 解码达 1308 tokens/s
bingxu_ · x · 2026-09-29
Bing Xu 转引 INT21 的推理基准并评论「人类手写 AI 软件将很快成为历史」。
- INT21 主张 agentic 时代推理延迟即业务延迟:编码 agent 执行一个修复需数十次串行模型调用,等待不断累积,因此把超快推理作为首选目标
- 两名工程师在两周内指导生成 20 个引擎,覆盖 7 类模型:自回归语言、扩散语言、语音识别、语音生成、OCR、图像与视频生成
- 对 15 个模型的子集与 SGLang、vLLM 对比:测试的 6 个文本模型解码速率全部领先,MiMo 达 1308 tokens/s,调优后的 SGLang 为 540,vLLM 为 1011
所属事件:两人团队用 AI 两周生成 20 个推理引擎,小米模型解码达 1300 tok/s(3 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16