Reddit 用户把 550B Nemotron 跑在老 MI50 与 P40 集群上
Old_Grapefruit8774 · reddit · 2026-07-22
一位 Reddit 用户分享了自己把 Nemotron Ultra 550B IQ3S 分布式跑在两台老旧 GPU 机器上的实测结果，并贴出了硬件配置、吞吐数据和完整启动命令。
- 一台机器由 7 张 MI50 + 2 张 MI50 组成，总计 176GB VRAM；另一台是 5 张 P40，总计 120GB VRAM。
- 帖子给出了 pp512、tg128 以及最长到 126,720 token 上下文下的基准结果。
- 作者表示老硬件上的表现出乎意料地好，并准备再加几张 22GB 版本的 RTX 2080 Ti 继续扩容测试。
「Infra」频道最新
- Engy 公布推理价格，Qwen3.6 缓存输入远低于 GLM-5.2 — markjeffrey · 2026-07-22
- 本地加云端推理像汽车的 65 英里巡航 — dmitry140 · 2026-07-22
- Alphabet 资本开支电话会，关键看钱买了什么 — tengyanAI · 2026-07-22
- 美国公司或需中国模型护网，但一次渗透就可能引发封禁 — natolambert · 2026-07-22
- DeepSeek 若进硬件象限会很有看头，阿里也有自研芯片 — teortaxesTex · 2026-07-22
- Triton 的 TTGIR 层既是价值核心，也是性能 bug 高发区 — dhruv2038 · 2026-07-22