Voodoo 动态量化方法开源 MIT:用梯度下降为每个张量选量化级别
1ncehost · reddit · 2026-09-15
两个月前 Reddit 用户 1ncehost 宣布发现名为 Voodoo Quant 的动态量化方法,在小型 Qwen3.5 GGUF 模型的激进量化档位上达到 SOTA。现因无力将其产品化,作者以 MIT 协议开源了完整工具集与方法论。
核心思路:
- 动态量化指 GGUF 格式下为每个张量选择不同量化级别;Voodoo Quant 首次用梯度下降优化逐张量的量化布局。
- 做法:同时跑所有量化级别的候选权重,冻结权重只训练每个张量、每级一个标量 gate,通过退火的 tau 与 softmax 让选择逐渐收敛;损失函数以混合量化 logits 对 BF16 参考的 KL 散度为主,并奖励接近目标文件体积,用多样化校准集训练。
与 Unsloth Dynamic 3.0 对比:UD3 保密已久,作者实测在中高档位 UD3 更好,但激进低档位 VQ 更优;VQ 计算开销更大但等效于远超静态分析的基准迭代次数。
工具集目前面向 Qwen 架构,可较快适配其他模型;属研究级项目,大模型尺寸尚未验证。
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02