CUDA 与 HIP 双卡并存:llama.cpp 需分别编译两个二进制
espece-de-bon · reddit · 2026-10-13
Reddit 用户询问如何在同一台机器上同时使用 NVIDIA（CUDA）和 AMD（HIP/ROCm）GPU 跑 llama.cpp。结论：
- HIP 无法在运行时加入 CUDA 构建，必须用 ROCm 工具链以 -DGGMLHIP=ON 单独编译；两个构建可以共存，用独立 build 目录即可
- 推荐方案：NVIDIA 卡保留 CUDA 构建，AMD 卡单独编一个 HIP 构建，两个 server 实例跑不同端口，每卡各跑一个模型，稳定性与单卡性能最佳
- 跨卡 tensor split 单模型（如 16GB:32GB）可实验（build-both、-sm layer -ts 16,32），但有显存重复 bug 等问题，不建议作为正式工作流
附具体 cmake 命令示例。
「Infra」频道最新
- 渔船海上遇险求救无门，Starlink Mini 助船长呼救救回 5 人 — elonmusk · 2026-10-13
- NVIDIA 盘点法国 AI 生态：50 颗卫星星座上天，Bull 产 Vera Rubin 服务器 — nvidia · 2026-10-13
- NVIDIA 盘点法国 agentic 计算生态：卫星、量子到公营机构全面落地 — NVIDIA Blog · 2026-10-13
- LangSmith 为 agent trace 专门造了新数据库 SmithDB — hwchase17 · 2026-10-13
- IMF 最新预测：AI 尚未带来生产率提升，泡沫破裂损失是繁荣收益两倍 — rohanpaul_ai · 2026-10-13
- NVIDIA 发布基于 USD 的 NURBS B-rep 内核，开发者吐槽质量堪忧 — rms80 · 2026-10-13