斯坦福 CS336 全套课程上线 YouTube：作业含用 Triton 手写 FlashAttention
techNmak · x · 2026-10-21
斯坦福 CS336《Language Modeling from Scratch》由 Percy Liang 与 Tatsunori Hashimoto 讲授，Spring 2026 全部课程视频已上线 YouTube（playlist 18 集，含 GPU/TPU、Triton/XLA 等讲座）。
课程覆盖：
- Tokenization 与 Transformer 架构、注意力替代方案与 MoE
- GPU 架构、显存与算力，Triton kernel 与 FlashAttention
- 分布式训练与并行、scaling laws 与推理优化
- 预训练数据管线与评测、SFT、RLHF 与推理 RL
作业是课程最大亮点：学生需实现自己的 tokenizer、Transformer 和优化器并训练小模型，其中包括用 Triton 编写 FlashAttention。
「公司和人」频道最新
- 黄仁勋 GTC 谈 Harvey 与 Trajectory Labs 用 Nemotron 落地法律 AI — saranormous · 2026-10-21
- OpenAI 首席产品官:机器人实验室大规模采集数据是科学未来 — kevinweil · 2026-10-21
- Maven 推出免费 AI 搜索系列课：Late Interaction、MUVERA 与 Wormhole 向量 — CShorten30 · 2026-10-21
- 业内感慨 David Baker 组队功力：RFD4-Proteina 背后的人才磁场 — AllThingsApx · 2026-10-21
- Linear 设计师 Emil Kowalski 宣布离职,晒两年作品回顾 — floguo · 2026-10-21
- Boltz CEO 确认与施贵宝达成战略合作 — GabriCorso · 2026-10-21