实测:开启 NCCL 反致 llama.cpp 性能下降 8%

jirka642 · reddit · 2026-08-29

开发者在双 RTX 3090 环境下实测发现,编译 llama.cpp 时开启 -DGGMLCUDANCCL=ON 并没有按预期提升多 GPU 性能,反而导致处理速度(PP 和 TG)下降约 8%。日志显示虽然启用了 NCCL,但实际表现不如关闭该选项。作者提供了完整的配置文件和 Benchmark 数据,提醒开发者不要盲信官方日志提示。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →