开源LLM推理优化手册:48个主题配可动手实现的练习题
udmrzn · x · 2026-11-18
TensorTonic 开源了 LLM Optimization Handbook,一套让模型跑得更快、更便宜、更小的学习路线图:
- 覆盖 48 个主题、7 个阶段,从单个请求如何在 GPU 上流转,到生产环境 serving
- 主题包括量化、KV cache、speculative decoding、CUDA/Triton kernel、推理基础等
- 每个主题链接简短讲解 + 动手练习:用 Python/CUDA/Triton 自己实现量化器或调度器,并对着测试验证代码
- 同仓还整理了 49 道 LLM/推理工程师面试高频题,每题配解析和可解题
作者的理念是:优化建议「容易复述、难以落地」,亲手写一遍量化器或调度器是理解每种技术真正改动了什么的最快方式。MIT 协议。
「Infra」频道最新
- DEC Alpha 处理器兴衰史长文:从性能之王到被遗忘 — ArtificialOther · 2026-11-18
- 免费在线书《LLM Inference Handbook》:生产级推理部署指南 — burkov · 2026-11-18
- SEC 对英伟达展开民事调查,涉未披露的涉华芯片销售 — The Decoder · 2026-11-18
- 英伟达财报超预期股价却几乎不涨,投资人观望不追高 — bindureddy · 2026-11-18
- 一次 HF Job 生成整本图,Inkling-2-Small 单图成本不到一美分 — vanstriendaniel · 2026-11-18
- 语音 agent 流量全迁单一数据中心,P95 首字延迟降一半 — itsOmSarraf_ · 2026-11-18