斯坦福 CS336 全网最强 LLM 工程课
techNmak · x · 2026-08-17
斯坦福 CS336 (Language Modeling from Scratch) 2026 春季课程被认为是目前最好的免费 LLM 工程课程之一，共 19 讲，覆盖了 LLM 技术栈的方方面面。
课程内容：
- 构建模型：分词、Transformer 架构、MoE
- 理解硬件：FLOPs、内存、GPU/TPU
- 性能优化：Triton、GPU 内核、并行、分布式训练
- 模型训练：扩展定律、数据收集与清洗
- 推理与评估：部署与评测
- 后训练：SFT、RLHF、RLVR
- 多模态：相关内容覆盖
实践特点：
与大多数只听课的 AI 课程不同，本课程要求学生编写大量代码。具体实践包括：
- 从零实现分词器、Transformer 和优化器
- 用 Triton 编写 FlashAttention2
- 构建内存高效的分布式训练系统
- 处理 Common Crawl 原始数据为预训练数据
- 拟合扩展定律
- 结合 SFT 和强化学习训练数学推理模型
课程完全免费，适合希望从 API 调用者转向系统架构师的开发者。
「研究」频道最新
- 研究发现 ChatGPT 图像生成存在可复现的低级模式伪影 — DickHorner · 2026-08-17
- RLC研讨会最佳论文揭晓：LLM作为顺序RL策略优化器 — EmmaBrunskill · 2026-08-17
- 如何用LLM从工业手册提取寄存器映射？Reddit 用户求架构建议 — Plenty_Shine_8250 · 2026-08-17
- 观点：预训练如古神不可控，强化学习才是关键 — brianryhuang · 2026-08-17
- 研究揭示大脑免疫细胞“敌意接管”现象 — EricTopol · 2026-08-17
- AI事实性召回瓶颈：对SciCode意味着什么？ — geoffwolfe · 2026-08-17