斯坦福 CS336 免费上线:18 讲从零搭建完整 LLM 技术栈
techNmak · x · 2026-10-09
Stanford CS336: Language Modeling from Scratch 2026 版共 18 讲，免费发布于 YouTube，覆盖几乎整个 LLM 技术栈：
- 造模型：Tokenizer、Transformer、架构、MoE
- 懂硬件：FLOPs、显存、GPU/TPU
- 提速度：Triton、GPU kernel、并行、分布式训练
- 做训练：Scaling laws、数据采集/过滤/去重
- 跑推理：推理与评测
- 后训练：SFT、RLHF、RLVR，另含多模态
课程不只看视频：学生要亲手实现 tokenizer、Transformer 和优化器，用 Triton 写 FlashAttention2，搭建显存高效的分布式训练，把原始 Common Crawl 数据处理成预训练数据，拟合 scaling law，并用 SFT + 强化学习训练一个做数学推理的语言模型。斯坦福称学生写代码量比多数 AI 课程高一个数量级。
「公司和人」频道最新
- 布里斯托大学招 AI 教职:坐拥英国最大超算 Isambard AI — dimadamen · 2026-10-09
- 本周 AI 产品盘点：ChatGPT 自生成界面与 Claude Haiku 5.5 回归性价比之最 — The AI Daily Brief · 2026-10-09
- PartyKit 创始人宣布关停免费托管平台，被收购两年半后迁入 Cloudflare — threepointone · 2026-10-09
- 吴子敬炮轰:AI 行业集体用 ARR 当核心指标,极易操纵且无统一定义 — zijing_wu · 2026-10-09
- 竞品迟到了五周:ChatGPT 上线 5 天破百万用户的行业复盘细节 — letandrewcook · 2026-10-09
- AI 社区四大趣味 demo 定档 Open Together,10月16日旧金山见 — erhannah · 2026-10-09