量化悄悄打乱检索排序:top-1 结果最高 46% 被换,论文给出免标注修复法
_reachsumit · x · 2026-09-22
论文发现量化后的模型即使分类准确率保持不变,top-1 检索结果仍可能有 14% 到 46% 发生改变,而总体排序指标只能暴露其中一部分损害。
机理:损害与最高两个分数之间的差值(gap)相关。分类任务的损失函数天然拉开正确类与其他类的分数,鼓励出现大 gap;检索则没有任何机制分隔 top-1 与第二名。当 gap 超过最大舍入误差的两倍时,top-1 结果可保证在量化后存活,而这一 gap 无需标注即可测量。
修复方案:
- 部署前:用 gap 预测哪些模型会在量化后出问题。
- 部署时:按输入判断量化答案是否仍与全精度一致。
- 检索:对最影响 gap 的层多分配位宽,可回收约四分之三的额外比特收益,成本仅一半。
- 分类:把少数低 gap 输入路由到全精度,以极小成本恢复大部分精度损失。
「Infra」频道最新
- 纯 C 跑 2.78 万亿参数 Kimi K3：单 CPU、8GB 内存、零框架 — tom_doerr · 2026-09-22
- LinkedIn 开源 GPU 预排序系统：图特征融合实现 50 倍模型扩容 — _reachsumit · 2026-09-22
- oMLX 作者 Jun Kim 加入 Hugging Face，MLX 本地 AI 生态获长期投入 — pcuenq · 2026-09-22
- Anthropic 计划年底前将算力扩至 5 GW — CurieuxExplorer · 2026-09-22
- Naveen Rao 新芯片生成一张图仅约 500 纳焦,比 GPU 省数千倍 — victor_explore · 2026-09-22
- Sify 数据中心子公司 IPO 估值分歧：要 4 万 crore 投资人只给 2.2-2.5 万 — HimanshiET · 2026-09-22