读懂一次预训练:P0/P1/P2 三级指标体系系统梳理训练监控信号
SonglinYang4 · x · 2026-09-19
Chunyuan Deng 发布《Reading a Pretraining Run》,系统总结大规模预训练训练中用于监控的指标体系,给出定义、默认采样频率与告警优先级。
- 探针与优先级:一次大训练会输出上万个探针(probe),难点在于知道该盯哪十个。指标分三级:P0 报警(接到 on-call,约十个指标,任一异动即停训或叫人,每步采样)、P1 诊断(P0 异动时才看,按层/张量视图,每 100 步)、P2 取证(按参数/expert/数据域细节,按需开)。
- 第一屏九个 P0 信号:全局与最差 rank 的 loss 均值(发现收敛问题与单 worker 扛雷)、按数据源与模态的 loss(全局平稳时发现局部退化)、梯度全局范数与裁剪率(最早的数值告警,先于 loss 移动)、loss 与梯度共同尖峰计数(稳定性)、单步耗时与吞吐(卡顿/慢节点/通信退化)、跨 rank 显存峰值(OOM 余量)、expert 负载 MaxVio(路由坍塌与算力失衡)等。
「Infra」频道最新
- Cerebras 用 Qwen 27B 打造购房理财助手 Money Agent — Alibaba_Qwen · 2026-09-19
- GPU 出租遭租客利用发起攻击，Clore.AI 拒不处理还封号 — anomaly256 · 2026-09-19
- 3M 曾赔 103 亿美元弃产 PFAS，AI 数据中心又把它做成增长市场 — aakashgupta · 2026-09-19
- $250 淘矿卡魔改 30GB 显存,老 i7 主机跑 Qwen 达 30 tok/s — HFq_Dev · 2026-09-19
- 双 5060 Ti 跑 Qwen3.8-Flash-Next 仅 10 t/s,楼主求解优化配置 — MkGod · 2026-09-19
- 用 sglang 评分端点微调推理,让开源模型秒变指定风格 — BLUECOW009 · 2026-09-19