斯坦福 CS312「深度学习炼金术」新课:跑实验+预测结果练直觉
stanfordnlp · x · 2026-10-15
斯坦福秋季新课 CS 312「Deep Learning Alchemy」由 Tatsunori Hashimoto 与 Suhas Kotha 主讲,直面一个现实:深度学习的核心知识大多是经验性的,理论和读论文都替代不了动手。
两个信条
- 炼金术要靠手学:设计干净实验、在动手中学
- 预测即理解:跑实验前能准确预判结果,才算真掌握
课程主线(7 单元)
超参调优与 scaling laws → 优化器与超参不变量(NQM、μP、Muon、权重衰减)→ 损失景观 → 训练稳定性 → 架构容量 → 数据高效泛化(切到 DNA 模态)→ 未公开单元。阅读清单本身就是实证深度学习地图,μP、Muon、权重衰减系列作者就在团队中。
教学与开放程度
- 学习循环:跑小规模 LM 实验 → 拆假设 → 用未见代码 diff 预测 loss 等结果 → 修正心智模型
- 7 个高难度实验预测测验,成绩 85% 来自测验,考试导向、不注水给分
- 作业代码、讲义、测验全部公开,录像由 Stanford Online 发布,自学者可用 Modal 租卡复现;基线是深度 8 Transformer、614M token 的可跑标本
- 可视为 CS 336(从零造 LM)的续作:那门教造模型,这门教理解模型行为
所属事件:斯坦福CS312「深度学习炼金术」新课引教学理念之争(8 条相关)→
「公司和人」频道最新
- FT：Anthropic 第三季度营收飙升至 168 亿美元 — nathanbenaich · 2026-10-15
- 2021 年 Anthropic 内部文件曝光：已预见万亿参数与 RL 全套路线 — akbirthko · 2026-10-15
- Modal 元老离职感言:公司靠「把人养大 4-5 倍」跑赢招聘式扩张 — charles_irl · 2026-10-15
- a16z 裁撤 34 人招聘团队,发帖人解读为风投界收紧信号 — SumitGup · 2026-10-15
- Northwood Space CEO:我想看到一千家 SpaceX,五年而非二十五年 — a16z · 2026-10-15
- 麦肯锡让初级岗位候选人面试时与模拟 AI 客户对话 10 分钟 — The Verge AI · 2026-10-15