开发者从零实现迷你 vLLM:连续批处理+分页 KV 缓存全自己写
Broad-Mirror3873 · reddit · 2026-10-16
一位开发者为了理解 LLM 推理引擎原理,从零写了一个小型推理引擎 nano-vLLM 并开源,而非只读资料。
已实现:
- 连续批处理(continuous batching)
- 带共享内存池的分页 KV cache
- 支持块共享的 prefix caching
- 流式推理 API
- 与 Hugging Face 输出对比的正确性测试和独立 benchmark 基线
作者明确这是学习项目而非对标生产引擎,并列出当前限制(KV gather 路径、顺序 prefill 等),向有推理系统经验的人征求架构建议和下一步优化方向。代码:github.com/Aparajith24/nano-vLLM
「Infra」频道最新
- 35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板 — alifcoder · 2026-10-17
- 本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17
- GPU MODE 讲座仓库：性能剖析与 CUDA 入门首选 — techNmak · 2026-10-17