AI 基础设施工程师自学路线：三阶段从 CUDA 内核到 vLLM 部署
dhruv2038 · x · 2026-10-11
一条 AI Infrastructure Engineering 学习路线，分三阶段给出具体练习：
- Stage 1 系统/GPU 基础：学 C++、Rust、CUDA 内存层级、PCIe vs NVLink、warp 调度；练习从零写矩阵乘 CUDA 内核并与 cuBLAS 对比 profile。
- Stage 2 推理物理：理解 prefill vs decode、算术强度、KV-cache 数学；用 Nsight Systems 定位 HuggingFace 模型生成 token 时的内存瓶颈——LLM 推理几乎总是内存受限而非算力受限。
- Stage 3 现代服务引擎与 batching：vLLM、SGLang、PagedAttention、continuous batching、chunked prefill，练习部署 70B 模型（原文在此截断）。
「编程与Agent」频道最新
- 「微观管理者匿名会」：七步搭建自主 Agent 软件工厂 — intellectronica · 2026-10-11
- 10 分钟用视觉模型提取板球投球轨迹，AI 私人教练雏形 — spillai · 2026-10-11
- 玩家自调 vLLM 构建:单卡 R9700 跑长上下文多智能体 — KriptacMessage · 2026-10-11
- Anthropic 免费放出 42 分钟课程：不再写 Prompt，而是构建循环 — Aiden_Tech_Ai · 2026-10-11
- 面向开发者与 AI 构建者的 50 个高价值 GitHub 仓库清单 — Aiden_Tech_Ai · 2026-10-11
- Droid 编码 Agent 被赞可全天使用：编排器拆里程碑、验证失败自动转新任务 — matanSF · 2026-10-11