PyTorch 核心开发者：SAC 粒度可细化到单条残差相加

PyTorch 核心维护者 ezyang 分享了对 transformer 训练中 Saved Activation Checkpointing（SAC）粒度的观察：惯例做法是按整个 transformer block 粒度应用 SAC，但他指出粒度可以细化到单条残差相加的级别，SAC 应作用于 norm+attn/mlp 子层而非整个 block，从而获得更灵活的显存与计算权衡。

2026-09-26 ~ 2026-09-26 · 2 条相关

• PyTorch 负责人 ezyang：SAC 可细化到单条残差相加粒度 — ezyang · 2026-09-26
• PyTorch 核心开发者指出:SAC 应作用于 norm+attn/mlp 而非整个 block — ezyang · 2026-09-26