开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍
sguada · x · 2026-10-27
有团队融资 10 亿美元开发面向数据高效学习的 megakernel，而独立研究者 deepaksinghml 没有这笔钱，于是开源了 Latch：一个直接从 PyTorch 代码生成训练 megakernel 的编译器。
作者公布的 H100 实测数据（vs Compiled PyTorch）：
- Time-to-loss：TinyMoE（batch 32×1024）达到 loss 3.30 只需 857s vs 1432s，省 40% 时间。
- 训练更新速度：TinyMoE（batch 2×1024）每步 13.6–13.8ms vs 37.5–38.4ms，快 2.75 倍。
- 测试时适应：GradLev（1024 步）每步 54ms vs 190ms，快 3.5 倍（对照使用了 CUDA graphs）。
项目已开源，定位是用编译器自动化 megakernel 生成，让没有巨额资金的小团队也能做内核级训练优化。
「Infra」频道最新
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27