免费在线书《LLM Inference Handbook》:生产级推理部署指南
burkov · x · 2026-11-18
Sherlock Xu(2026)发布的免费在线技术书《LLM Inference Handbook》,面向在生产环境部署、扩展与运维大语言模型的工程师。内容覆盖把训练好的模型变成响应迅速、成本可控的服务所需的概念与决策:模型行为、硬件选型、应用接口到持续运维。可作为进阶读物按序阅读,也可当作工程问题的查询手册。
「Infra」频道最新
- DEC Alpha 处理器兴衰史长文:从性能之王到被遗忘 — ArtificialOther · 2026-11-18
- SEC 对英伟达展开民事调查,涉未披露的涉华芯片销售 — The Decoder · 2026-11-18
- 开源LLM推理优化手册:48个主题配可动手实现的练习题 — udmrzn · 2026-11-18
- 一次 HF Job 生成整本图,Inkling-2-Small 单图成本不到一美分 — vanstriendaniel · 2026-11-18
- 语音 agent 流量全迁单一数据中心,P95 首字延迟降一半 — itsOmSarraf_ · 2026-11-18
- satnam 与剑桥教授 Constantinides 会面商讨英国 AI 基础设施落地 — satnam6502 · 2026-11-18