Vulkan 后端跑 Qwen3.6-35B:RTX 3060 与 CUDA 持平,数据中心卡慢 5-30%
Serious_Scarcity7818 · reddit · 2026-11-13
RustingStrata(纯 Rust 的 MoE 推理引擎,CUDA 后端用 NVRTC 运行时编译、无需 nvcc)作者用同一 Qwen3.6-35B-A3B GGUF 模型在五张 NVIDIA 卡上对比 CUDA 与 Vulkan 两种后端(模型全载入显存、MTP 关闭、3 次取均值):
|GPU|prefill 差异|decode 差异|
|---|---|---|
|RTX 3060 12GB|97%|100%(基本持平)|
|L40S|95%|87%|
|A30|94%|79%|
|A100 80GB|90%|76%|
|H100 NVL|70%|78%|
结论:消费级 3060 上 Vulkan 与 CUDA 同速;数据中心卡 Vulkan 损失 5-30% prefill 和 13-24% decode,且运行噪声更大(A100 4K prefill 波动 4788-5990 vs CUDA 的 6186-6214)。输出一致性方面,与 llama.cpp 贪心 top-1 的 20×32 token 对比在两种后端上均达 98-99%。附完整复现命令与仓库链接。
「Infra」频道最新
- Unsloth 发布 Inkling-2-Small GGUF 量化版，本地可跑 — gnukeith · 2026-11-13
- Ampere 无 fp8，作者为 20/30 系显卡重制 Krea 2 int8 版 — in_habitants · 2026-11-13
- GlobalFoundries 光子学产能持续售罄，10 亿美元营收目标提前至 2028 — BenBajarin · 2026-11-13
- 开源无损压缩器 foldz 专压 GGUF，9 个模型平均再省 8.66% — Simpli-curious · 2026-11-13
- 3090 跑 Nemotron Bolt 达 70 tok/s，作者安利 Nvidia 开源模型生态 — samajhdar-bano2 · 2026-11-13
- Cerebras Q3 营收 2.31 亿美元,在手 700MW 数据中心产能待交付 — BenBajarin · 2026-11-13