llama.cpp 新 CUDA 内核让投机解码提速最多 35%
pmttyji · reddit · 2026-11-12
llama.cpp 的 PR #31533 为量化权重新增了支持 2-24 列小批量（BS 2-24）的 MMQ CUDA 内核，主要针对投机解码（draft 7 tokens 即 8 列）和小批量场景——现有 MMVQ 逐列重复计算、MMQ 面向大批次，在这两种尺寸下都不高效。
技术要点
- 新内核每个权重只读一次、解码一次为 int8 MMA fragments，直接在 tensor cores 上与所有列相乘
- 支持 Q80、Q3K、Q4K、Q5K、Q6K、IQ3S、IQ4NL、IQ4XS，覆盖 Ampere 到 DGX Spark 的 NVIDIA GPU
- 附带完整测试命令：llama-server 启动参数与 speedbench.py 基准脚本，Qwen3.8-27B UD-Q4KM + DFlash2 draft，80 条对话、8192 输出 token，95% 区间用 paired bootstrap
实测提速（每步 / 吞吐）
- RTX 3090 Ti：1.344x，吞吐 +34.9%（57.6 → 77.7 tok/s）
- RTX 5090：1.180x，吞吐 +20.6%（141.5 → 170.7 tok/s）
- RTX PRO 6000 Max-Q：1.183x，吞吐 +16.7%
- DGX Spark：1.106x，吞吐 +10.1%
所有 GPU 上 80/80 对话均更快，作者计划扩展更多量化类型。
「编程与Agent」频道最新
- 用 MCP 人脉搜索 Agent 找赞助商：10 个线索成本不到 2 美元 — cneuralnetwork · 2026-11-12
- 微软 Ignite 推 Agent365 实验室：教你治理组织内的 500 个 Agent — donasarkar · 2026-11-12
- 投资人 Jon Finger：旧有构建心智模型已成编码代理时代最大障碍 — mrjonfinger · 2026-11-12
- PydanticAI 新增 ApprovalReviewer：用第二个模型先过滤无害审批请求 — KhuyenTran16 · 2026-11-12
- 工程师自述被编码Agent夺走对系统的理解，主张「意图即唯一真相」 — the_juan_1 · 2026-11-12
- 你的 agent 失控了你根本不知道：kill switch 是被动防线 — victorialslocum · 2026-11-12