训练老手支招:checkpoint 存 K8s PVC,但千万别给它设告警
cto_junior · x · 2026-09-21
回复 @arohan 的一条训练工程经验:在 Kubernetes 分配的 PVC 里保存 checkpoint,同时确保不要给这个 PVC 设置容量告警——否则 PVC 写满时,告警之外真正会发生的故障是:checkpoint 写满盘后反过来把 checkpointer 本身搞挂,训练直接中断。
「Infra」频道最新
- Qwen 新模型与美团 LongCat 均用 N-gram 架构绕开 HBM 短缺 — bookwormengr · 2026-09-21
- 外卖巨头造前沿模型：美团 LongCat 的 N-gram 注意力与国产算力突围 — bookwormengr · 2026-09-21
- 从 Qwen 系列论文看:算力需求短期不会下降 — TheZachMueller · 2026-09-21
- AI 深入增材制造最难环节：选材、工艺参数与缺陷判定都可交给模型 — burhop · 2026-09-21
- 反爬猫鼠游戏无解？网友呼吁数据方采用 x402 对抓取直接收费 — kleffew94 · 2026-09-21
- Ayar Labs CEO 谈硅光互连：TSMC COUPE 工艺与下一代 AI 基础设施 — BenBajarin · 2026-09-21