开发者自研优化器 ApexW:显存占用约为 bitsandbytes 一半,损失低于 AdamW
omendUUde · reddit · 2026-11-18
Reddit 用户 omendUUde 发布了从零写的训练优化器 ApexW,声称在收敛与内存占用上同时超越 AdamW 与 bitsandbytes 8-bit:
- 测试方法:固定确定性随机种子,在 A100(bf16, llama 3.1 8B)与免费 T4(fp16, llama 3.2 3B)上多组学习率、多随机种子与 torch AdamW / bnb 8-bit 并排对比
- 结果:compact 模式在更低内存下 loss 优于 AdamW;8-bit 模式把 8B 模型的活跃显存从 bnb 的 1.48GB 降到 0.67GB(优化器状态 120MB vs 320MB),步速还略快,且在 1e-4/2e-4/5e-4 三个学习率下训练损失均更低
- 提供 compact / 8bit / hybrid 三种模式,完整 benchmark 与日志放在 Colab 可复现
作者坦承目前只是 60-100 步的短跑验证,下一步要做完整多 epoch 微调与下游评测,并征求适合的模型/配置建议。早期结果有趣,但尚未经过长训练检验。
「Infra」频道最新
- Meta 重组 MTIA 芯片团队招兵:编译器、内核、runtime 全线招人 — asdf1234_0 · 2026-11-18
- 多方实锤指向中国 AI 实验室使用疑似走私 Blackwell GPU,黄仁勋遭审视 — Difficult-Limit-7551 · 2026-11-18
- d1-2B 本地手势识别:每帧 70ms 零 token 生成,M5 Max 跑 14 决策/秒 — helloiamleonie · 2026-11-18
- 首届 SGLang 峰会 2000 人参会:发布 v1.0,九巨头成立联盟 — aliscodes · 2026-11-18
- TokScale 榜单:第一名单人烧掉 4.6T tokens,估算成本 243 万美元 — olcan · 2026-11-18
- MOSS-Image FP16 修复版发布,老图灵卡也能提速跑 — mkrGG · 2026-11-18