图解 GLM 5.3 解码显存卸载:每生成一个 token 需读 13GB 权重
HankYeomans · x · 2026-11-11
@nettermina 发布「Offload visualized - decode edition」系列收官篇,拆解 GLM 5.3 推理解码阶段的显存卸载机制:
- 写出单个 token 需读取 13GB 常驻权重,外加全部 75 层每层的 8/256 个专家。
- 示例中把每层 8 个专家中的 7 个副本缓存在 GPU(专家缓存命中),未命中的由 CPU 直接从 RAM 计算,其中部分再按效率择机复制回 GPU。
可视化讲清了 MoE 大模型本地推理中 expert cache 命中率与 CPU/GPU 分工的经济账,对做端侧/本地部署的人有参考价值。
「Infra」频道最新
- Ray 创始人 KubeCon 演讲：Ray 深度集成 K8s，服务 MAI/Cursor/NVIDIA 等前沿团队 — PyTorch · 2026-11-11
- Epoch AI 图表：AI 推理成本年均降 13 倍，快过史上任何技术 — sebkrier · 2026-11-11
- CoreWeave 在 KubeCon 介绍对 vLLM 等开源推理项目的贡献版图 — PyTorch · 2026-11-11
- turbopuffer 上线中日韩分词器，开发者实测 CJK 全文检索调优 — bo_wangbo · 2026-11-11
- Anthropic 图解财务模型:营收同比增 12 倍,年化收入约 810 亿美元 — firstadopter · 2026-11-11
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11