让 2013 年老卡再战:PyTorch 2.7.1 与原生 CUDA Mamba-1 移植到 Kepler 架构
TheSpicyBoi123 · reddit · 2026-11-09
Reddit 用户发布了一个让现代 LLM 训练栈跑在老旧 NVIDIA GPU(SM 3.5–7.5,Kepler 到 Turing)上的系列项目:
- torch-on-clunkers:自编译 PyTorch 2.7.1(CUDA 11.8,保留旧 SASS),支持 Windows
- mamba-on-clunkers:Mamba-1 纯原生 CUDA 内核实现在 2013 年 Tesla K40c 上验证,与 PyTorch 参考实现最大绝对误差仅 3.8e-06
- 附带 causal-conv1d 移植版和 Windows NCCL(DDP),可实现 Kepler 多卡训练
- Mamba-2/3 因依赖 Triton/TileLang 仅支持 SM 7.5 及以上,旧卡会自动回退到纯 CUDA 的 Mamba-1
作者请求社区在 Maxwell 和 Pascal 架构上帮忙测试(本地测试硬件仅限 Kepler),后续计划将 Mamba-2/3 反向移植到老架构。项目基于 Tri Dao 与 Albert Gu 的原始实现。
「Infra」频道最新
- Agentic AI 本质是编排调用，瓶颈或推动端侧小模型兴起 — DavidLinthicum · 2026-11-09
- 网友玩梗「被蒸馏」：黄仁勋同框照配华为挑战英伟达新闻截图 — StephanSturges · 2026-11-09
- SpaceX 拟在得州 Starbase 建 240 亿美元 AI 超算 — beffjezos · 2026-11-09
- Megaspeed 疑进口逾 46 亿美元 GPU，20 亿流向马来西亚数据中心 — bytebot · 2026-11-09
- 训练 GLM-130B 仅花 60 万美元:96 张 A100 跑了两个月 — ccerrato147 · 2026-11-09
- 花 1.6 万加元装 4 卡 R9700 推理服务器，8 用户 128K 上下文实测数据出炉 — Anarchaotic · 2026-11-09