开源 ApexW 优化器:状态内存减半,大张量场景比 fused AdamW 快 1.5 倍
Ready_Parking_5435 · reddit · 2026-10-27
开发者发布 PyTorch 优化器 ApexW,采用紧凑优化器状态与 Triton 执行路径,在大张量负载下比 PyTorch fused AdamW 快约 1.5 倍,优化器状态内存约减半——适合常撞 OOM 的 LLM 微调场景,可借此增大 batch 或模型规模。
作者诚实列出局限:
- 小张多多时受 Python 启动延迟拖累:128M 参数多小张量布局下,PyTorch 原生 16.1ms/step vs ApexW 76.0ms/step(约 0.21x)
- 端到端训练中优化步只占一小部分,MLP 实测 PyTorch 整体仍略快
- 自动执行模式尚未稳定达到同样加速
代码开源于 GitHub,征求 benchmark 与实现方面的反馈。
「Infra」频道最新
- Lovable 月调 7536 亿次 Workers,从 Next.js 迁至 TanStack Start — ritakozlov · 2026-10-27
- 布拉格实验室 BottleCapAI 发三款 ThinkingCap 模型，思考 token 最高省 69% — JFPuget · 2026-10-27
- 本地向量路由 100k 工具 top-1 达 70.7%、延迟 9.6ms，吊打 BM25 — Key_Coconut_9269 · 2026-10-27
- 单卡 RTX 3090 同时跑 4 个编码 agent，自研 CUDA 引擎达 290 tok/s — Adorable_Weakness_39 · 2026-10-27
- Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理 — dl_weekly · 2026-10-27
- Transformers v5.21 发布：FP8 KV 缓存、MoE 分片与新 TTS 模型 — LysandreJik · 2026-10-27