MEM v3 开源:动态调 batch 防 CUDA OOM,扛住 +10GB 显存冲击
uBazzyZ- · reddit · 2026-09-27
作者开源了 MEM v3,一个针对 PyTorch 长时间训练/微调中 CUDA 显存溢出崩溃的「内存调速器」,实时监控 VRAM 和吞吐,动态调整 batch size 和梯度累积,无需重启进程。
核心特性:
- 动态换道(dynamic lane switching):根据实际 GPU 显存压力毫秒级伸缩 batch size,不必为保平安把 batch 常年调小
- 抗冲击:实测能扛住突然 +10GB VRAM 分配冲击而不崩溃
- 防损 checkpoint:跨轮换槽位用原子文件替换 + SHA-256 校验,断电也不会写坏权重
- 自带本地 web 仪表盘实时追踪 loss、吞吐和换道事件
提供免配置的 Colab 演示笔记本,仓库在 GitHub:nobazzy/mem-llm-orchestrator。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16