RRC：用相关性标注校准稠密检索嵌入谱压缩权重
_reachsumit · x · 2026-10-30
论文提出 RRC（Relevance-Guided Residual Calibration），改进稠密检索嵌入的谱压缩方法：
- 现有谱压缩（PCA、Whitening、SpecTemp）把嵌入投影到低维主子空间以省存储和打分成本，但语料级权重规则未直接考虑各方向对相关性的贡献。
- RRC 是一种闭式解方法：利用相关性标注估计每个保留方向的 margin 权重，将方向 log 权重分解为幂律趋势加残差，再把残差叠加到压缩器的 log 权重上，无需迭代训练或额外推理阶段。
- 在 3 个编码器、9 个数据集（含常规与推理密集型检索）上，SpecTemp + RRC 在 BEIR 组与 BRIGHT 上取得测试压缩器中最高的平均效果。
「研究」频道最新
- 脑细胞训练四年结出成果：mischief 1 成最便宜图生视频模型 — _akhaliq · 2026-10-30
- 开源模型 13 秒分割腹部 CT 全部 74 个结构，点一下肝脏即 3D 弹出 — MaziyarPanahi · 2026-10-30
- FlexUMM 论文:统一多模态模型的嵌入空间其实并不统一 — jindong_wang92 · 2026-10-30
- OpenAI 称模型反驳指数时间假设并证明四维量子场论存在性 — Not Boring (Packy McCormick) · 2026-10-30
- 多智能体玩 Avalon 自发形成「表情包文化」，M1 报告亮相 — rosstaylor90 · 2026-10-30
- 7小时+硬核长教程：用C++从零构建数据库引擎 — Abhishekcur · 2026-10-30