自研 HybridApexW 优化器:比 torch.compile 基线快一倍

omendUUde · reddit · 2026-11-19

Reddit 用户发布自研 PyTorch 即插即用优化器 HybridApexW(APEXW+Muon 混合)的干净 1000 步基准:在 103M 参数 GPT-2、WikiText-103 上对比 torch.compile 的 AdamW+Muon 基线。

通过将投影更新和 8-bit 状态追踪融合进自定义 Triton/CUDA kernel,相对 torch.compile 拿到约 2 倍墙钟提速,但修掉内存分配器泄漏后显存节省其实有限(约 320MB)。作者坦承首个基准脚本有 bug(在活模型上做 JIT 预热,导致基线虚高到 23.2GB/2707s),修正后在克隆模型上预热并清理 CUDA 缓存。HybridApexW 自动处理参数组拆分(嵌入/归一化用 AdamW,2D 权重用 Muon),单一 6e-4 学习率即可。提供 Colab 与 GitHub 链接,并征求社区对基线设置的意见。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →