5.4k 星 tiny-llm 开源课:四周动手造一个迷你 vLLM
HowDevelop · x · 2026-10-31
开源项目 tiny-llm(5.4k star,Apache-2.0)是一套面向系统工程师的 LLM 推理实战课程,定位类似 LLM serving 版的 CMU Needle:从加载 Qwen3 模型、把 token 变成 logits 到生成文本,全程亲手实现。
课程基于 MLX 数组与扩展运行时,不调用高层神经网络层——每章教某个算子时,你需要用 Python/C++/Metal 自己实现,MLX 只作为正确性基准与性能参照。四周学习路径:
- Week 1:从 matmul 到文本,用 mlx.core 手写 attention、RoPE、GQA、RMSNorm、MLP、采样与自回归循环
- Week 2:加速单请求,依次实现 KV-cache、W4 量化 matvec、SIMD 矩阵 prefill、tiled prefill 等
- Week 3:造一个迷你 vLLM,引入 continuous batching、chunked admission 与分页 KV 布局,decode attention/FlashAttention 直接读页
- Week 4:构建一个编码 Agent,带验证循环、checkpoint 恢复与上下文压缩
所属事件:开源课 tiny-llm 走红:四周手搓迷你 vLLM(2 条相关)→
「Infra」频道最新
- Opera 推 WebAI 提案：网页可直接调用浏览器本地模型 — JChataigne · 2026-10-31
- 印度 AI 破局之道在芯片而非大模型:依赖 NVIDIA 与 CUDA 更令人担忧 — PrasoonPratham · 2026-10-31
- AI 支出挤压回购：五大科技股股东回报占比降至 15 年最低 — nordicinst · 2026-10-31
- SF Compute「算力枯竭」现场竟有人兜售闲置 B300 集群 — daniel_mac8 · 2026-10-31
- FastSDCPU 发布 Fibo 2.0，纯 CPU 跑图像编辑 Turbo 模式 — simpleuserhere · 2026-10-31
- 单卡 24GB 多模型热切换实测：物理只需 1.5 秒，现实要 29 秒 — bjivanovich · 2026-10-31