硬核移植：将 Ninfer 移植至 CMP 170HX，Qwen 性能翻倍
ubrtnk · reddit · 2026-08-23
作者分享了将 Ninfer (高性能推理引擎) 移植到 CMP 170HX 数据中心显卡的过程，并实现了显著的性能提升：
- 背景：RTX 3090 与 CMP 170HX 架构相近，作者利用 AI 辅助完成了代码移植工作。
- 技术挑战：解决了 SM 数量差异（70 vs 82）导致的 cudaErrorCooperativeLaunchTooLarge 错误，动态调整 split-K 调度策略，并移除了 Blackwell 专用内核与 CUDA 前向兼容库依赖。
- 成果：在 Qwen3.6-35B 模型上实现了 2 倍性能提升，支持 262K 上下文且显存占用合理（Int8 KV Cache）。
提供了详细的 Docker 运行配置与 llama-swap 集成方案。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16