别只盯训练损失：工程师分享读 ML 训练日志的五个信号
cneuralnetwork · x · 2026-11-08
作者分享了系统性读取 ML 训练日志的方法，指出多数人只看 training loss：
- 训练损失下降：是好事但不是全部
- 验证损失上升：可能过拟合（配图示例中 valloss 从 2.01 回升到 2.31）
- 梯度范数飙高：排查训练不稳定（示例中 gradnorm 从 1.4 冲到 12.3）
- 吞吐量下降：检查 GPU 利用率、数据加载和序列长度（tok/s 从 42k 跌到 28k）
- 学习率下降：若用 decay 调度则属正常
配图给出一张示例日志表，展示如何在 loss 看似健康时通过 lr/gradnorm/tok/s/valloss 发现异常。
「研究」频道最新
- Full Bandwidth Transformer 研究：RL 压力下潜在链才被启用 — JohnCLangford · 2026-11-08
- 机制可解释性也是数据问题:1 万个任务即可定位 reward hacking — burny_tech · 2026-11-08
- OpenAI 发布 AI 生成数学手稿:宣称指数时间假设为假 — jiqizhixin · 2026-11-08
- ChatGPT 的学习公式源于 1847 年：柯西为算行星轨道发明梯度下降 — burny_tech · 2026-11-08
- NeurIPS 2026 十月通讯：12 月悉尼开幕，公布资助与受邀报告 — NeurIPSConf · 2026-11-08
- 清华论文：CoT 监控被任务化隐藏目标骗过约 60% — rohanpaul_ai · 2026-11-08