自研 HybridApexW 优化器:比 torch.compile 基线快一倍
omendUUde · reddit · 2026-11-19
Reddit 用户发布自研 PyTorch 即插即用优化器 HybridApexW(APEXW+Muon 混合)的干净 1000 步基准:在 103M 参数 GPT-2、WikiText-103 上对比 torch.compile 的 AdamW+Muon 基线。
- AdamW+Muon:1,076.55s | 16.22GB 显存 | loss 5.52
- HybridApexW (Compact):533.50s | 16.11GB | loss 4.49
- HybridApexW (8-bit):537.67s | 15.90GB | loss 4.47
通过将投影更新和 8-bit 状态追踪融合进自定义 Triton/CUDA kernel,相对 torch.compile 拿到约 2 倍墙钟提速,但修掉内存分配器泄漏后显存节省其实有限(约 320MB)。作者坦承首个基准脚本有 bug(在活模型上做 JIT 预热,导致基线虚高到 23.2GB/2707s),修正后在克隆模型上预热并清理 CUDA 缓存。HybridApexW 自动处理参数组拆分(嵌入/归一化用 AdamW,2D 权重用 Muon),单一 6e-4 学习率即可。提供 Colab 与 GitHub 链接,并征求社区对基线设置的意见。
「研究」频道最新
- Google 提出 GUARD:冻结基座模型让 Agent 自改 harness,准确率提 8.89 分 — omarsar0 · 2026-11-19
- Kezek 开源工具:把单声道双人对话拆成按说话人分轨的全双工数据 — manifestro · 2026-11-19
- Elie Bakouch 质疑:现有 benchmark 难以真正追踪 RSI 进展 — eliebakouch · 2026-11-19
- Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码 — ricklamers · 2026-11-19
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19