PyTorch 核心开发者推出交互式 Roofline 教程，支持 NVIDIA GPU 分析
ezyang · x · 2026-09-20
PyTorch 核心开发者 ezyang（为保密项目试探 AI 工具）让 Astra 把《How to Scale Your Model》的 roofline 章节做成了可交互版本：支持 TPU 与 NVIDIA GPU 切换，并将 HBM 与网络带宽分析拆分呈现。读者可调 batch、hidden 维度、精度（BF16/FP8/INT8）、计算与带宽倍率、overlap 等参数，实时查看 roofline 约束下的耗时上下界。原文出自 Google DeepMind 团队 2025 年 2 月的 Scaling Book，改写部分由 OpenAI Codex 协助完成。
「Infra」频道最新
- vLLM-Omni 发布：KV 复用、FP8 等多项优化加速全模态推理 — vllm_project · 2026-09-20
- 用 ARM SVE2 指令加速 JSON 解析,simd 已合入实测 — lemire · 2026-09-20
- GLM 5.3 Flash NVFP4 量化版跑进 ChatGPT 本地体验 — TheZachMueller · 2026-09-20
- 开源模型使用量无法精确统计,推理商 token 数成最佳估算依据 — xeophon · 2026-09-20
- Inception 扩散模型让语音 Agent 无需再买定制芯片换低延迟 — victor_explore · 2026-09-20
- 创业者炮轰当前 AI 推理架构：权重搬运方式愚蠢至极 — whurley · 2026-09-20