Llama.cpp 新增自适应推测解码，提速 50%
Dutchnamn · reddit · 2026-08-25
Llama.cpp 的一个 Fork 引入了“自适应推测解码”功能，以优化 Qwen3.8 等密集模型的推理性能。传统的 MTP 和 DFlash 需要固定参数，但不同内容类型（如结构化内容）需要不同设置。该新功能允许设置最小和最大值，引擎会根据内容自动调整建议的 Token 数量。实测表明，在 Strix Halo 上生成结构化内容时，速度从 44 t/s 提升至 65 t/s，相比主线版本提升高达 50%。
「Infra」频道最新
- 铜转光：机架级光背板成 AI 数据中心下一步设计刚需 — BenBajarin · 2026-10-16
- Polymarket 开出 28% 概率：年内将有美国州级数据中心禁令落地 — Polymarket · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16
- PyTorch 原生跑上 AWS Trainium，零代码改动 — PyTorch · 2026-10-16
- 业内爆料：中国实验室算力仅美国 1/10，字节 2-4 倍价扫东南亚算力 — robleclerc · 2026-10-16
- GPU 优化公司 Zymtrace 融资 1220 万美元，招 ML 工程师打造自主调优 Agent — cfregly · 2026-10-16