张量级分配提升 Qwen 3.5 4B 推理性能 16%

devildip · reddit · 2026-08-22

作者成功将张量级分配机制从 Gemma 系列扩展到 Qwen 系列，在 Qwen 3.5 4B 模型上取得了显著效果。

实验结果显示，在 IQ2XS 量化下，通过 QLAB 分配策略，推理性能从 46.875 提升至 54.688，相对提升 16.67%，而模型大小仅增加 0.412%。该方法基于类别语料构建 imatrix，测量损伤后在张量级别重新分配精度，不涉及后训练或权重更新。作者计划进一步扩展至更大模型（如 Qwen 2.5 72B）。