实测:推测解码在RX 6650 XT上反而更耗能
Own_Negotiation8036 · reddit · 2026-07-08
作者在 RX 6650 XT(8GB)上用 llama.cpp(Vulkan)实测推测解码(speculative decoding)的真实功耗,发现它不仅未提速,反而让每个 token 的能耗更高,GPU 负载越重越糟。主模型为 Qwen2.5-3B、草稿模型 0.5B,借助 LibreHardwareMonitor 积分计算推断窗口内的实际焦耳消耗,而非平均瓦数。