Baseten 访谈：推理优化仍可让开源模型快 10 倍
Latent Space · youtube · 2026-08-04
推理优化正在变成 AI 的新前线
Baseten 的 Philip Kiely 和 Ali Taha 讨论了一个模型发布后真正发生的事：如何把“生成了一个 token”变成可用、稳定、足够快的生产级 API。
- 话题覆盖了 cache-aware routing、prefill/decode 分离、量化、speculative decoding、KV cache 迁移、模型并行和 GPU kernel 优化。
- 他们认为，推理侧优化仍然能带来 20%–200% 的提升，在某些场景下甚至可以把模型速度提升到 10 倍。
- 访谈还谈到如何在开放模型发布当天就完成接入、如何把不同架构的组件拼接到一起、以及为什么相同权重在不同集群上也可能表现不同。
- 后半段延伸到 NVIDIA Dynamo、Rubin、本地推理、AI 芯片，以及生成长视频所面临的巨大算力门槛。
所属事件:Baseten团队分享AI推理优化与工程实践(3 条相关)→
「编程与Agent」频道最新
- Nous Research 推出免费 Hermes Agent Skills Hub，收录 9 万+ skills — NousResearch · 2026-08-04
- Claude 驱动 ComfyUI 在 5080 上测试 H3 视频生成 — JoNike · 2026-08-04
- 多智能体编码启动器主打内置压缩降 token 成本 — haseeb_heaven · 2026-08-04
- LangChain 发布 agent 容错文档：重试、兜底到人工介入 — LangChain · 2026-08-04
- 阅读清单串起重构经济学、agent skills 和 Google 实践 — rseroter · 2026-08-04
- Eve 推动企业走向“每家公司一个可定制 agent” — aarthir · 2026-08-04