LookAtMyQuant 量化编译器:同等体积 KL 散度降 12 倍
teortaxesTex · x · 2026-11-02
开发者 shinboson 发布 LookAtMyQuant,一个语言模型量化编译器。核心思路:多数量化方法其实是同一批算子的不同组合,作者归纳出可灵活组合的算子语法,逐块测量压缩每个权重矩阵、embedding 分桶、KV cache 对整体模型的损害,再在尺寸/速度预算内为每块分配最优压缩方案。
关键结果:
- 九种已发表的量化/剪枝方法都能用该语法的短程序精确复现
- 在 Gemma 4 E2B 上,仅用 llama.cpp 类型生成普通 GGUF:与 Q4KM 同体积时,KL 散度比原模型低 12 倍,GSM8K 59% vs 50%(原模型 61%)
- 增益主要来自 Gemma 的 23.5 亿参数逐层查找表:压缩便宜,以 4.25 bits 存储(原 6.56 bits),省下的字节让给矩阵
- 在 Qwen3.5-4B 与 SmolLM2-360M 上,同等成本下 KL 低 681 倍
teortaxesTex 关注其量化编译器概念及逐层查找表带来的增益,并追问实际推理速度。
「Infra」频道最新
- 无 FPU 的 2006 年 iPod 跑起 llama2.c,0.36 tok/s — r0tlier0 · 2026-11-02
- SpaceX 扩建 Colossus II：年底前再上线 42 万块 NVIDIA GB300 — elonmusk · 2026-11-02
- 行业人士警告：防御 Agent 全天候运行或令 token 成本失控 — robleclerc · 2026-11-02
- AI 数据中心迎 PC 式模块化拐点：供电、液冷、网络标准化博弈解析 — ai · 2026-11-02
- Cerebras 上市5个月股价腰斩，254亿美元订单多半押在 OpenAI — FinanceYF5 · 2026-11-02
- Together 推出后训练平台：RL 训练与推理引擎全程对齐 — togethercompute · 2026-11-02