Reddit 网友魔改 llama.cpp:双卡异构跑 Qwen3 27B 至 262k 上下文

comperr · reddit · 2026-09-19

Reddit 用户 comperr 展示在 RTX 5090 + RTX 3090 Ti 双卡异构环境下，让 Qwen3 27B 的 Q4KM 自制量化版跑出 262k 上下文。他移植并改造了 ollama 分支的 llama.cpp，实现 NVFP4 KV cache 支持，过程要点：

计算感知分层：按 CUDAARCH 而非仅 FP16 能力拆分 FA kernel，SM86 与 SM120 走不同路径，输出层锁定在 5090 上以最大化性能
修复真实 bug：q80 在 262k 上下文下出现 TILE 边界 nwarps 溢出，修复后双卡均通过；另修了 MXFP4 17B 与 NVFP4 8B 的 SM120 对齐加载错误
核心修复：Blackwell 无法对 17 字节块做向量加载，改用逐字节 memcpy(memcpy(&k, K+off17, 17)) 解决 0x7ff95b398141 之类的非对齐访问
权重是他自己从 fp16 源用 f16 repack 打包的自制 Q4KM 量化

对想在消费级双卡上做长上下文本地部署/量化开发的用户有直接参考价值。

「Infra」频道最新