8GB 显卡跑 130M 模型 100 万步不崩：自适应显存调度器实验
uBazzyZ- · reddit · 2026-09-10
一位开发者在 RTX 5060 Ti（8GB）上训练小模型时频繁遭遇 CUDA OOM，于是写了 MEM Orchestrator——一个 PyTorch 运行时控制层，核心思路是训练中监控显存压力，在 OOM 前临时下调 micro-batch 大小和梯度累积步数，显存缓解后再回升。
实现要点：
- 本地策略检查，把参数调整钳制在安全边界内
- 原子化 checkpoint，崩溃不损坏存档
- 附 38 个单元测试
实验结果：130M 模型 endurance 测试跑满 100 万步零崩溃；对 255M 模型注入 +1.2GB 显存尖峰（FineWeb-Edu 5 万步），控制器成功自适应并保住训练。作者明确表示不宣称解决 OOM，主要是征集 CUDA allocator、DeepSpeed、分布式训练方向专家的意见。
「Infra」频道最新
- NVIDIA 正式加入 Rust 基金会,芯片巨头押注 Rust 生态 — blelbach · 2026-09-10
- 马萨诸塞州对数据中心出台清洁电力新规，三个月内第三个州 — TechCrunch AI · 2026-09-10
- Epoch 估算：OpenAI 两年算力增长约 17 倍 — FlorianGallwitz · 2026-09-10
- 手把手教程:用 Google Cloud Run 沙箱安全运行不可信代码 — rseroter · 2026-09-10
- TrendForce 预测英伟达 2027 年 NVL72 机架出货增超 50%，三大产品线营收超 7100 亿美元 — Beth_Kindig · 2026-09-10
- 隐身 7 年的 Kepler 出关:做超越 HBM 的 AI 内存,获 2.45 亿美元政府支持 — npinto · 2026-09-10