一份免费清单：10 个学 LLM 推理工程的资源，从 Stanford 到 vLLM
techNmak · x · 2026-10-17
techNmak 整理了一份学习 LLM 推理工程的 10 个免费资源清单，聚焦如何让模型服务更多用户、响应更快并装进显存。
清单包括：
- LLM Inference Handbook（Modular）
- Hugging Face - Continuous Batching 文档
- Stanford CS336 - Inference (2025)
- How To Scale Your Model - Inference
- MIT 6.5940 - EfficientML (2024)
- Inside vLLM - Aleksa Gordic
- Mini-SGLang
- GPU MODE - Lectures
- Triton - GPU Programming Tutorials
- NVIDIA AIPerf - Benchmarking Guides
资源覆盖概念、代码与性能测量三个层面，全部免费可访问。
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23