Leech 格点量化把 Qwen3 压到 2.7 比特,质量超 IQ2_S 但速度更慢
Fuzzy-Layer9967 · reddit · 2026-11-15
作者用 Rust 独立实现了高通量的 LLVQ（Leech lattice quantization，arXiv:2603.11021）论文，并自写 CUDA kernel，完成 Qwen3 4B/8B/14B 三个模型，约 2.70–2.73 bits/参数，权重已上传 Hugging Face。
原理：常规量化逐个或小组对齐网格，LLVQ 把 24 个权重一起吸附到 24 维 Leech 格的最近点，每块 24 权重编码为 48-bit（约 2 bits/weight），加 scale、表和 int4 嵌入后整体约 2.7 b/param；解码器在 matvec 时直接读 48-bit 码、不建稠密矩阵，一次 CUDA launch 完成整个 token，kernel 用 NVRTC 运行时编译。
同位宽对比（同一校准集、同一 L40S、同日）：- MMLU 比 IQ2S 高 +9.1/+4.1/+2.9（4B/8B/14B）；- GSM8K 4B 高 +14.3，8B 高 +3.0，14B 持平；- WikiText-2 困惑度全面占优（如 4B：12.58 vs 16.78）。模型越大差距越小。
等显存跨档对比：8B 2.7bit 的 MMLU 比 4B AWQ 高 1.44 分，14B 比 8B AWQ 高 1.87 分且省 1GB，但 GSM8K 均持平。
代价：对比 FP16，4B 掉 MMLU 6.8/GSM8K 9.6 分，14B 约各掉 3 分；速度明显慢于 llama.cpp（IQ2S 快 34–64 tok/s），batch 1 为 227/145/90 tok/s；且 L40S 是唯一能看到收益的卡。作者坦承 Unsloth UD-IQ2XXS 4B 在贪心解码下会复读循环（999/1319 触顶），并邀请社区挑刺。
「Infra」频道最新
- Epoch AI：后训练增强等效 5-20 倍算力收益，成本不到 1% — CFGeek · 2026-11-15
- 「算力乘数」是什么?一文讲透 AI 的算法效率概念 — CFGeek · 2026-11-15
- CoreWeave 披露：Ampere/Hopper GPU 租赁价单季暴涨 30%-50% — Beth_Kindig · 2026-11-15
- 美国人拒绝数据中心建在后院，SpaceX：没问题 — draecomino · 2026-11-15
- 推演：2.5 万次 Starship 运载 250GW 太空算力的算账 — JOBhakdi · 2026-11-15
- 微软专利曝光：付钱租用玩家闲游戏 GPU 训练 AI — Shot-Height-7194 · 2026-11-15