论文:Mac上投机解码多数配置比普通解码更慢,最佳仅1.61x
juanviera23 · reddit · 2026-08-15
一篇论文在消费级硬件(Mac)上测试了投机解码,发现5种配置中有3种比普通解码更慢,最佳情况为K=6时1.61倍加速。作者提醒用户不要盲目开启投机解码,应先测量。Reddit用户表示在llama.cpp和MLX上的结果与论文一致。
「Infra」频道最新
- 应对HBM短缺:华为采用HBF宽内存等四项技术 — bookwormengr · 2026-08-15
- 算力电力受限,模型多路由带故障转移将成基建标配 — shensi · 2026-08-15
- batch-llama-benchy:本地模型批量基准测试工具 — LevelSoft1165 · 2026-08-15
- SpaceXAI投资大型水回收系统,每日循环1300万加仑废水 — XFreeze · 2026-08-15
- 双3090实测Qwen3.8-27B:20万上下文与F16 KV部署细节 — Sisuuu · 2026-08-15
- 英伟达 Rubin 数据中心毛利率将升至 78% — Beth_Kindig · 2026-08-15