Baseten 推理工程大师课:量化、推测解码与性能优化
philipkiely · x · 2026-08-04
Latent Space 播客邀请了刚刚完成 13 亿美元 F 轮融资的 AI 基础设施公司 Baseten 的核心成员，深入探讨了推理工程（Inference Engineering）的核心技术细节。
核心议题包括：
- 推理工程的本质：探讨如何将训练好的模型权重转化为快速、可靠且可规模化扩展的产品。
- 性能优化手段：详细解析了量化、推测解码等技术，并解释了量化误差如何相互抵消从而提升吞吐量。
- 行业现状：指出当前推理团队依然能找到 20% 到 200% 的性能提升空间。
- 视频生成的瓶颈：分析了视频生成在计算层面面临的二次方注意力墙难题。
- 模型自优化：分享了 GLM-5.2 模型如何协助重写并优化用于服务自身的 GPU 内核。
所属事件:Baseten团队分享AI推理优化与工程实践(3 条相关)→
「Infra」频道最新
- K3 被低估了，作者主张企业自建推理基础设施 — hsu_byron · 2026-08-04
- Photon 2.0 把 Moondream、Qwen 3.5 编译成 megakernel — sloppenheimer · 2026-08-04
- Minimax H3 可在 3060 12GB 上跑，10 秒视频要 30 分钟 — irmemon225 · 2026-08-04
- Minimax H3 在 5070 Ti 上实测，ComfyUI 对比 Sage Attention 和 Easy Cache — TheRedHairedHero · 2026-08-04
- 开源 H3Zero 把 MiniMax H3 做成了 Modal 托管版 — LegacyV1 · 2026-08-04
- MiniMax H3 已能做 15 秒视频，但一张 5090 要跑 6 分钟 — Careless-Constant-33 · 2026-08-04