YC Paper Club:推理比训练重要 12 倍,已催生 2200 亿美元市值

Y Combinator · youtube · 2026-10-24

Y Combinator 本期 Paper Club 聚焦推理(inference)环节:模型每花 1 FLOP 训练,每年约需 6 FLOP 用于服务,把推理做好在过去十年创造了超过 2200 亿美元市值。视频覆盖推理请求从 API 到 GPU kernel 的完整生命周期、同一开源模型不同服务商之间的质量差距甚至大于开源与闭源模型之间的差距、以搜索而非启发式构建的编译器如何把 GPU 时长转化为 token,以及 SGLang 如何为 Agent 时代管理内存。分章嘉宾包括 Dan Fu、Jeff Morgan、Joe Fioti 和 SGLang 作者 Lianmin Zheng。