tiny-llm 开源课程：在 Apple Silicon 上手写迷你 vLLM 推理引擎

alexcovo_eth · x · 2026-11-05

有开发者把 LLM 推理工程中最难的部分做成了一门开源课程 tiny-llm：围绕 Qwen3 在 Apple Silicon 上构建一个 vLLM 风格的小型推理引擎，且不是照抄——而是先跑通模型，再亲手修复让它变慢的性能瓶颈。

四周课程覆盖的动手内容包括：实现 attention 与文本生成、加 KV cache 复用计算、处理 packed 4-bit 权重、用 C++ 和 Metal 写更快的算子、用 batching 和分页内存处理并发请求。后半段还会构建一个带工具调用、checkpoint 与上下文管理的小型编码 agent。每个阶段都配练习和参考答案。