开源 PR 优化 DeepSeek-V4.1 推理：4 张 RTX PRO 6000 实测提速
AlpinDale · x · 2026-10-22
开发者 AlpinDale 向 dphnAI/sonar 提交 PR #1788，针对 RTX PRO 6000 Blackwell（SM120）优化 DeepSeek-V4.1-Flash 的推理性能，覆盖单流与批量解码。
主要改动包括：上下文受限的持久化 DSA 索引、原生支持 128-token 索引页的 DeepGEMM、分层 top-k 选择，以及为稠密 MXFP8 投影、分组输出投影、mHC 和 Engram pack/finish 操作添加 SM120 快速路径。此外修正了共享 KV scale 偏移、在权重缓存路径中保留 tensor-view 偏移，并正确处理掩码 top-k 尾部。
测试环境为 4× RTX PRO 6000 Blackwell 96GB，TP4、B12x 1.5.1、FP8 KV cache、CPU-offloaded Engram，并启用编译与 CUDA graphs。
「Infra」频道最新
- 高通手机外业务明年增速看 60%，汽车与嵌入式挑大梁 — pdamodaran · 2026-10-22
- PHP 漏洞爆发后，一家厂商公布 WebAssembly 运行时验证方案 — MickeySteamboat · 2026-10-22
- Ollama 携手 Crusoe：新开源模型上线到生产仅用两周 — ollama · 2026-10-22
- 投资人称 CUDA 护城河正被悄然瓦解：Codex 可直接重写 AMD 内核 — paigeinsf · 2026-10-22
- 爆料：二三线推理服务商已有能做出 90%+ 算力毛利的模型配方 — zephyr_z9 · 2026-10-22
- NVIDIA 发布 CPO 硅光交换与 Vera Rubin 架构，押注物理 AI — thealexbanks · 2026-10-22