论文:Mac上投机解码多数配置比普通解码更慢,最佳仅1.61x

juanviera23 · reddit · 2026-08-15

一篇论文在消费级硬件(Mac)上测试了投机解码,发现5种配置中有3种比普通解码更慢,最佳情况为K=6时1.61倍加速。作者提醒用户不要盲目开启投机解码,应先测量。Reddit用户表示在llama.cpp和MLX上的结果与论文一致。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →