斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变
stanfordnlp · x · 2026-10-31
斯坦福《CS336: Language Modeling from Scratch》课程(2026 春季,讲师 Percy Liang 与 Tatsu Hashimoto)的课堂笔记在网上流传,核心是 Percy Liang 关于 scaling laws 的讲解。
关键思维转变:不要只想着训练「一个模型」,而要想「一条 scaling recipe」——即把「我有多少算力」映射到「该用什么超参数」的规则:
- 在多个较小规模(如 up to 1e24 FLOPs)上跑实验并拟合损失曲线
- 把曲线外推到目标规模(如 1e25 FLOPs),在真正开跑前预测损失
- 于是可以在小规模上廉价地调优配方,大致预知大 run 的结果
前提与坑:这只在小规模最优在大规模仍成立时有效。常规设置下最优学习率会随模型宽度变化,导致小规模调参无法迁移;解决之道是 hyperparameter transfer(按模型宽度缩放初始化和逐层学习率,Yang+ 2022)。课件强调「可预测性至少和最优性同等重要」。
课程涵盖预训练数据收集清洗、Transformer 构建、训练与评估全流程,讲座视频有 YouTube 播放列表。
「研究」频道最新
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31
- 单视图新视角合成基准被指错位，测试时优化对齐会误导评测 — kwangmoo_yi · 2026-10-31
- arXiv 版主招人：投稿量暴增致审核拖数月，急募版主 — tdietterich · 2026-10-31
- arXiv 版主：课程作业、综述、立场文件都过不了政策检查 — tdietterich · 2026-10-31