开发者自研优化器 ApexW:显存占用约为 bitsandbytes 一半,损失低于 AdamW

omendUUde · reddit · 2026-11-18

Reddit 用户 omendUUde 发布了从零写的训练优化器 ApexW,声称在收敛与内存占用上同时超越 AdamW 与 bitsandbytes 8-bit:

作者坦承目前只是 60-100 步的短跑验证,下一步要做完整多 epoch 微调与下游评测,并征求适合的模型/配置建议。早期结果有趣,但尚未经过长训练检验。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →