O'Reilly 新书《Hands-On LLM Serving and Optimization》系统讲解 LLM 部署优化
kalyan_kpl · x · 2026-11-03
O'Reilly 出版的新书《Hands-On LLM Serving and Optimization: Hosting LLMs at Scale》(Chi Wang & Peiheng Hu 著)定位为大规模部署与优化 LLM 的综合指南,面向 AI/ML 工程师和数据科学家。
- 第 1 章讲模型服务与优化基础:模型解剖、生命周期、服务范式(edge/单模型/多模型)与服务平台
- 第 2 章深入 transformer 内部机制与自回归生成的服务优化
对需要降低推理成本、提升服务速度的从业者是一本系统参考书。
「Infra」频道最新
- 5 亿行实测：手写 BFS 在 MySQL 跑 2.7ms，图数据库反而 23.6ms — JeremyCMorgan · 2026-11-03
- Anthropic 开源 FlashProve：可验证推理成本高达普通推理 165 倍 — arthurcolle · 2026-11-03
- PostHog 弃 ClickHouse 改用 DuckDB 重建数据仓库并再度推倒重来 — teodorio · 2026-11-03
- Tesla V100 本地跑 MoE 大模型：55 tok/s 解码，31.6GB 显存缓存 8109 个专家 — Traditional_Bell8153 · 2026-11-03
- NVIDIA 联手全球城市落地 AI 服务:数字孪生 10 分钟模拟 15 年林木生长 — NVIDIAAI · 2026-11-03
- Anthropic 年付数据供应商 24 亿美元，仅为算力开支的 6% — himanshustwts · 2026-11-03