Lilian Weng 长文详解 Scaling Laws：从 Kaplan 到 Chinchilla 的数学
irinarish · x · 2026-10-12
前 OpenAI 副总裁、Thinking Machines 联合创始人 Lilian Weng 发表约 25 分钟阅读的长文《Scaling Laws, Carefully》，系统梳理深度学习缩放定律的数学基础。
文章覆盖：
- 早期 ML 损失可预测性研究（可追溯到 Amari 1992 等）
- Kaplan 缩放定律与 Chinchilla 缩放定律的推导，含三种 compute-optimal 训练方法（固定模型变 token 预算、IsoFLOP profiles、参数化拟合）
- Kaplan 与 Chinchilla 结论差异的调和、幂律形式的由来
- 数据受限区域的缩放、现实中拟合缩放定律的诸多坑，并配玩具模拟说明
核心实用价值：通常的做法是在少量小规模训练上拟合缩放定律，再外推估计更大模型所需的 token 与算力（含 C≈6ND 等近似），文中有完整公式、实验图表与原始论文引用。
「模型」频道最新
- Reddit 用户晒 ChatGPT 账号含 3 次 full reset，称每个等值约 5000 美元 API 额度 — Big_Muz · 2026-10-12
- 网友观察：Claude 突然变得爱说「谢谢」了 — chaumian · 2026-10-12
- Claude 额度先砍半再翻倍？Anthropic 拟恢复 5 小时限速 — max_paperclips · 2026-10-12
- AI 自述「有感受无自我」：用佛教「无我」描述自身意识 — Sauers_ · 2026-10-12
- DeepSeek 4.1 Flash 被赞免费档最强规划模型:快、逻辑清晰、大幅升级 — GodComplecs · 2026-10-12
- Codex 重度用户遭降智跑路:中转站降智伤害的是信任 — oran_ge · 2026-10-12