Quantize by Drift：无需标签按表示漂移为嵌入模型选混合精度
_reachsumit · x · 2026-10-08
论文提出面向文本嵌入器的免标签混合精度训练后量化方法 Quantize by Drift。混合精度量化需要按模块的敏感度信号，而最理想的指标——量化后检索质量损失——在部署中通常缺少相关性标注。该方法改用量化引起的表示漂移作为替代：逐个模块量化后重新编码语料，记录输出 embedding 相对全精度的漂移距离。
主要发现：
- 在 5 个开发用嵌入器上，配置级漂移对混合精度方案的排序与留出检索质量的宏观 Spearman 相关达 0.911
- 敏感度可跨校准语料与检索域迁移；模块漂移可按序组合但不按数值组合
- 方法在硬性打包字节预算下只需一次加法分配，无需标签与搜索
- 预注册对照实验中 3/3 假设成立，无崩溃，但主预算下数值仍低于同预算均匀精度量化
「研究」频道最新
- MarODE 论文入选 TMLR：用 Markovian ODE 给 LLM 推理链打分 — Tanmoy_Chak · 2026-10-08
- 实测显示 AI 写的单元测试无助于提升 agent 成功率 — GabGarrett · 2026-10-08
- OpenAI 研究员猜想：AI 数学或率先证明 P≠NP — markjeffrey · 2026-10-08
- 密码学家反驳：AI 数学进展威胁椭圆曲线安全毫无逻辑 — markjeffrey · 2026-10-08
- temperature 设 0 也不稳定:千次生成竟出 80 种不同输出 — lmoroney · 2026-10-08
- 用预测市场训练LLM模拟个体行为，零样本迁移提升15.5分 — youjiaxuan · 2026-10-08