港中文黄建波新视频：单卡装不下的模型怎么训？讲透 ZeRO 与 FSDP
jbhuang0604 · x · 2026-10-19
港中文教授黄建波（Jun Huang）发布新教学视频《How to Train Models Too Big for One GPU》，系统讲解大模型训练的显存问题：
- 实数的表示与存储方式
- 混合精度训练（mixed-precision training）原理
- ZeRO（零冗余优化器）与 FSDP 的分片策略
配图以「120 GB 模型装不进 32 GB GPU」直观展示问题背景，适合想理解分布式训练显存优化的工程师与学习者。
「Infra」频道最新
- 第三方整理 Nebius 客户图谱：303 家公司在用其 AI 云与推理服务 — pdamodaran · 2026-10-19
- vLLM 揭秘 MiniMax M3.1 Flash 服务栈:NVFP4 稀疏注意力最高提速 1.7 倍 — vllm_project · 2026-10-19
- 自托管 DeepSeek 推理性价比超过所有云厂商，开源模型企业路线受捧 — bendee983 · 2026-10-19
- 双 RTX 3090 跑 DeepSeek V4.1 Flash 2.61bit:26 tokens/s — whiteh4cker · 2026-10-19
- AI 云大洗牌:数百家 neocloud 仅 7-10 家能活,Nvidia 最受伤 — The Decoder · 2026-10-19
- Wan 2.2 图生视频实测:12GB 显卡只用 8-9GB 显存,内存才是瓶颈 — noise_to_motion · 2026-10-19