学生自研 ApexW 优化器让 T4 上 SD 1.5 LoRA 训练快 6.3%
Ready_Parking_5435 · reddit · 2026-11-08
一位只有免费 NVIDIA T4（16GB）的学生发布自研优化器 ApexW，通过减少 PyTorch 训练中大量小参数更新的 CUDA kernel 启动开销来提速：
- Rank 16 LoRA 基准（SD 1.5，1000 步）：AdamW 1.92 it/s / 516.2s vs ApexW 2.04 it/s / 485.6s，提速约 6.3%，显存不变
- Rank 32 LoRA 下收益缩水至约 0.5%——作者推测计算重心转向 forward/backward 后优化器开销占比下降
- Loss 曲线与各阶段生成样本与 AdamW 高度一致，暂未见质量损失
- 提供 GitHub 代码与 Colab 复现链接，寻求有更强 GPU 者做独立基准
「研究」频道最新
- 研究者指出:完全隐藏测试集的基准反而难获采用,因无法针对性优化 — srchvrs · 2026-11-09
- Scott Alexander 论战 Pinker:LLM scaling 曲线到底是指数还是幂律 — sebkrier · 2026-11-09
- YC Paper Club 深入 AI for Biology：从读数据到设计生命系统 — ycombinator · 2026-11-08
- 实测：花哨推荐系统一半时间输给「热门榜」基线 — dima806_dima · 2026-11-08
- NYT：OpenAI 进展动摇计算机科学核心假设 P vs NP — _akpiper · 2026-11-08
- 纯汇编跑通 Qwen3.5-0.8B：单 CPU 线程 6.51 tok/s 胜过 PyTorch — suayptalha · 2026-11-08