训练 1 FLOP、推理 6 FLOP：推理栈已成超 2200 亿美元生意
ravikantagrawal · x · 2026-11-07
作者提出讨论：推理是否比模型训练更重要？数据点：模型每花 1 FLOP 训练，每年约花 6 FLOP 用于服务推理，过去十年推理相关业务催生了超过 2200 亿美元市值。作者强调推理远不止调用模型，涉及路由、缓存、调度、内核、内存与硬件等复杂栈，需在速度、成本与质量间权衡。
「Infra」频道最新
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Omnigraph 开源：带 git 式分支的图数据库，多 agent 共享世界模型 — solyarisoftware · 2026-11-07
- 一人开发全 Rust 系统：本地跑 Qwen 比 llama.cpp 快 25% — W61k3r · 2026-11-07