Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98%
simran_s_arora · x · 2026-11-17
Dylan Lim thread 的另一段结论:Torch Compile 的通用性和性能被低估了——用默认 Inductor kernel、CUDA Graphs 加细粒度 PDL 摆放,就能达到此前 Llama 1B megakernel 98% 的性能。
配图给出 Llama 1B / H100 / batch size 1 的阶梯数据:PyTorch eager 26 TPS → torch.compile 669 → 加 CUDA graphs 864 → 加 PDL 953 → 细粒度 PDL 975 TPS(megakernel 为 990 TPS)。但 Torch Compile 也有根本短板:编译器启发式无法稳定选中最优实现、孤立 kernel 测速不反映端到端速度、严格规则浪费性能。
「编程与Agent」频道最新
- Workato CISO 分享生产环境运行 Agentic AI 实践:80% 安全告警由 Agent 处理 — adamse · 2026-11-17
- DEF CON 演讲公开:拆解 6 个 AI Agent 数据外泄漏洞 — Kyrannio · 2026-11-17
- 语音 Agent 被 Mark 成骚扰电话?换号没用,先查首响延迟 — Packet-Exchange-Care · 2026-11-17
- 编码 Agent 三分之二 token 烧在首次编辑后:先声明计划可大幅省 token — rseroter · 2026-11-17
- 60 并发 Claude Code 会话的重度用户:从 cmux 迁移到 t3 — kavirkaycee · 2026-11-17
- 曝 OpenAI 为 Codex 加远程开关,控制 Agent 团队运行方式 — ryanmerket · 2026-11-17