斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步
stanfordnlp · x · 2026-10-16
Stanford NLP 官方转推 Percy Liang 的 CS336 第二讲《PyTorch 与资源核算》,配套笔记由 Chao Ma 撰写。
- 显存账本:7B 参数模型 BF16 权重约 14GB,但加上 BF16 梯度和两个 FP32 Adam 动量缓冲,还没算激活值和临时缓冲就已需 84GB——权重放得下不代表训得起。
- 速度账本:每个算子要问三个问题——存什么、算什么、搬什么数据。矩阵乘即使算术量远超逐元素操作,只要每字节搬运产出的有效计算(FLOPs/byte,即算术强度)更高,GPU 利用率反而更好。图中给出 H100 SXM 理想 BF16 GEMM roofline:4096×4096 权重下,M=1 时算术强度≈1,M=1024 时≈682.7,交叉点约 295 FLOPs/byte,吞吐上限为 min(C=989.5 TFLOP/s, 带宽 3.35TB/s × I)。
- 实用结论:判断训练瓶颈应先弄清限制来自存储、算术还是数据搬运,小 microbatch 省激活显存但牺牲复用。
「Infra」频道最新
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16
- llama.cpp 合入 Muse Spark Open:816B 多模态模型本地可跑 — jacek2023 · 2026-10-16
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16