70B 模型在 AMD R9700 上加载卡住，显存已到 30GB
Developer-Y · reddit · 2026-07-28
一位 Reddit 用户在 AMD Radeon AI Pro R9700 + ROCm 7.2 + llama.cpp 环境下运行 AstroSage 70B，结果卡在加载模型阶段。
- 这个 GGUF 文件是 Q4KM 量化，大小约 42 GB。
- amd-smi 显示显存占用已经到 30.3 GB / 32.6 GB，但系统内存一直只有约 3.9 GB。
- 原帖在求助：有没有人在类似配置上成功跑通过 70B，尤其是如何避免加载卡死。
「Infra」频道最新
- Kimi K3 部署估算：B200 需两节点，B300 可单节点 — HarveenChadha · 2026-07-28
- MLA 机制每百万 token 需 12GB KV，KDA 状态约 230MB — zephyr_z9 · 2026-07-28
- Reddit 讨论本地跑 K3 的最低成本方案 — ylchao · 2026-07-28
- Netlify 说 60% 新用户首次部署都走 Drop — thisiskp_ · 2026-07-28
- K3 上线一天就被拿去刷免费额度 — Mediocre-Witness-778 · 2026-07-28
- TRELLIS.2 INT8 ConvRot 已能在 AMD ROCm 上原生跑 ComfyUI — DrBearJ3w · 2026-07-28