llama.cpp新增DFlash支持
ggerganov · x · 2026-07-08
llama.cpp 最近加入了 DFlash 支持，进一步扩展了其 speculative decoding 的能力。帖子还提到，连同 MTP、Eagle3 以及各种基于 n-gram 的技巧，本地模型的性能又向前推进了一步。
所属事件:llama.cpp 引入 DFlash 投机解码，本地推理大幅提速(5 条相关)→
「Infra」频道最新
- SGLang MegaKernel+PD 发布：高并发吞吐与低延迟兼得，TCO 大幅优化 — AccBalanced · 2026-10-27
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27