llama.cpp 新 PR:低比特量化 CUDA MMVQ 获大幅提速
jacek2023 · reddit · 2026-10-17
llama.cpp 合并了一个由 am17an 提交的 CUDA 优化 PR(#30517),针对低比特量化的 MMVQ(mixed matrix-vector quantized)内核进行加速。
- 效果:带来明显速度提升,但仅对特定量化格式有效,如 Q2K 和 Q3K。
- 意义:对在本地用低比特量化跑大模型的用户,这些常用小量化格式的推理吞吐将直接受益。
PR 目前 +125/-59 行改动,已有 9 条评论和 2 次 review。
「Infra」频道最新
- Ben Lorica:本地 AI 关键不是隐私,而是任务路由在哪跑 — bigdata · 2026-10-17
- Bittensor 子网容量扩至 2500 节点，AI Agent 可零资本自主注册 — bittingthembits · 2026-10-17
- AI 光模块股一周暴跌 25-31%,但台湾服务器营收数据未见降温 — tengyanAI · 2026-10-17
- Hugging Face 周一直播讲解投机解码,可让本地 LLM 提速数倍 — huggingface · 2026-10-17
- David Sacks 反驳叙事:CoreWeave 债券收益率飙升非需求崩塌 — DavidSacks · 2026-10-17
- 免刷写改 RTX 50/40/30 系 VBIOS，可解锁 5090 功耗与电压 — panchovix · 2026-10-17