Baseten 用 MetaInfer skills 生成推理引擎,解码快 90%、TTFT 快 2.3 倍
baseten · x · 2026-10-05
Baseten 工程师 Shawn Rushefsky 实测了论文 MetaInfer: A Knowledge Only LLM Inference Engine Generator SKILL Toolbox——一个纯靠 skills(无模型后训练、无专用 harness)从零生成定制推理引擎的框架。作者花一周、以近乎自主的 agent 工作流跑通全流程。
- 在单张 B200 上、NVFP4 精度运行 Qwen-3.6-35B-A3B,AI 生成的推理引擎对比当时最新的 vLLM 0.25.1:单流解码速度最高快 90%,TTFT 快 2.33 倍。
- 文章分析了四个正在汇聚的趋势:模型长程能力增强、agent 协调、可度量的优化目标、推理需求增长,认为这让 AI 辅助的推理优化成为新机会。
- 结论:此前不实用的超低延迟场景因此变得可行;skills-only 方法在不做任何后训练的情况下就能击败 SoTA 开源推理方案。
「编程与Agent」频道最新
- 零游戏开发经验,他用 Codex 给 9 个月女儿做了款 Game Boy 游戏 — Hacubu · 2026-10-05
- Chris Lattner 将在 SPLASH 演讲:Mojo 类型系统与 agentic coding — clattner_llvm · 2026-10-05
- Chris Lattner 将在 SPLASH 深入讲解 Mojo 类型系统与编译期机制 — clattner_llvm · 2026-10-05
- 通过 MCP 接入 NotebookLM,Claude Code 可零 token 读完整文档 — Aiden_Tech_Ai · 2026-10-05
- Replit 联合创始人 Jacky Zhao 离职加入 Anthropic — Kyrannio · 2026-10-05
- 野外发现中国智能体集群，报告追踪大规模 agent 舰队活动 — Puzzleheaded-King584 · 2026-10-05