YC Paper Club 推理专题:每个训练 FLOP 对应六倍年推理开销
ycombinator · x · 2026-10-25
Y Combinator 本周 Paper Club 聚焦 LLM 推理基础设施,核心论点:模型每花 1 FLOP 训练,每年大约要花 6 FLOP 用于服务,而过去十年把推理做好已催生超 2200 亿美元市值。
视频把一个 token 从 API 请求到 GPU 再返回的完整栈讲透:路由、缓存、调度、kernel、内存与硬件,以及速度/成本/质量的权衡。嘉宾阵容横跨推理生态:
- Dan Fu(together compute/luminal 方向):一次推理请求的完整生命周期
- Jeff Morgan(Ollama):为什么同一个开源模型在不同服务商手里表现不一样
- Joe Fioti(Luminal):用搜索而非启发式来编译模型
- Liangsheng Yin(SGLang):面向 agent 时代的内存管理
适合想系统理解推理栈全貌的工程与研究者观看,附完整时间轴。
所属事件:YC Paper Club 谈推理：每个训练 FLOP 对应六倍年推理开销(3 条相关)→
「Infra」频道最新
- 曝三星将用台积电 3nm 为英伟达 NVHBM 定制芯片代工基芯 — Beth_Kindig · 2026-10-25
- 反驳AI泡沫论：每GPU收入减租金才是关键算式 — PTrubey · 2026-10-25
- AI 创业圈新生意:提前锁定 H100/B200 租约转租算力即可躺赚 — Yuchenj_UW · 2026-10-25
- Swarms 开源 RouteHub：导入仅 5.5ms，比 litellm 快约 190 倍 — KyeGomezB · 2026-10-25
- AMD Radeon 9700一个月涨价一倍,个人推理服务器难攒 — UltramanQuar · 2026-10-25
- 新博客拆解 GPU 通信：从页表到 NVLink，逐一对应 SGLang 内部用法 — BanghuaZ · 2026-10-25