苹果 ICML 论文:学支撑函数让 RAG 检索最高提速 8 倍

大模型之路 · wechat · 2026-11-19

苹果机器学习团队一篇被 ICML 2026 接收的论文提出用「学习支撑函数」加速 RAG 检索,直指 IVF 类索引(FAISS IVF、ScaNN)质心路由的老毛病:查询与文档表征不对称时,最佳答案可能藏在质心不起眼的簇里,被一票否决。

核心方法:利用凸分析中支撑函数的性质——「该簇能给查询的最高分」是查询的凸函数,其梯度正好指向最优键,于是把检索变成神经网络回归问题。两个互补小网络:

网络只需离线训练一次(采样查询 + 暴力搜索标准答案做监督),把 MIPS 求解成本摊销到推理期。NaturalQuestions(约 260 万段落)上 SupportNet 达 95% 召回约快 1.9 倍;KeyNet 达 99% 召回最多快约 8 倍、少扫约 11 倍的键。

适用前提与代价:最大档网络体积达数据库 20%;仅在查询服从训练分布时有效,问法漂移或换垂域会打折;需要真实查询日志做训练。适合查询模式稳定、语料巨大、检索已成瓶颈的成熟系统。HN 评论区一大半在争论「检索还重不重要」,认为宽网眼 BM25/grep 对 LLM agent 往往更划算。

源码开源于 GitHub apple/ml-amips,论文编号 arXiv 2603.08001。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →