tiny-llm 开源课:在 Mac 上手搓 vLLM 式推理引擎,修完性能坑才算毕业

techNmak · x · 2026-10-30

开源项目 tiny-llm 是一门面向系统工程师的实战课程,对标 CMU 的 Needle 项目,带你围绕 Qwen3 从零构建一个迷你版 vLLM 风格推理引擎,全程可在 Mac 上完成。

学习路径分阶段递进:

• 第一周:用矩阵运算实现 attention、RoPE、GQA、RMSNorm/MLP,加载模型并跑通 token 生成循环;
• 第二周:做真正的推理工程优化——实现 KV cache 避免重复计算、W4 打包权重与量化 matvec、SIMD 矩阵乘、融合原语(rmsnorm/rope/swiglu)、Tiled Dense Prefill Attention;
• 第三周:Continuous Batching、Chunked Prefill、Paged KV Cache、Paged FlashAttention,以及可选的 MoE 与投机解码;
• 第四周:构建带验证的 agent loop、工作区检查、编辑与记录、checkpoint 恢复等 agent 工程内容。

每章都配有代码、测试与文档,特点是让你亲手修复性能问题来理解 LLM 推理端到端的全链路。

原文链接 →

「编程与Agent」频道最新

• 月提交1656次被讽 slop,CodeSandbox CEO 自嘲人设崩塌 — zeeg · 2026-10-30
• 把纠错存成 LoRA：Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
• 最好的企业架构是知道何时不用 LLM：规则引擎和 SQL 往往就够了 — kashifmanzoor · 2026-10-30
• 开发者用电话 Agent 做竞品研究：一通电话拿到对手投得最久的广告 — fekdaoui · 2026-10-30
• Every 团队复盘：全公司共用一个 Slack Agent 的 3 条设计规则 — every · 2026-10-30
• 播客观点:代码全由 agent 写的时代,风险正被转嫁给客户 — julianweisser · 2026-10-30

更多「编程与Agent」频道 AI 资讯 →