sqlite-sparse:在 SQLite 里跑稀疏检索,查询期零模型调用

Much-Ingenuity5415 · reddit · 2026-09-12

开发者 arbazsiddiqui 发布开源项目 sqlite-sparse，把学习型稀疏检索（SPLADE 类模型）直接做进 SQLite 文件，查询时完全无需模型调用。

• 原理：稀疏编码器输出带权重的词表而非稠密向量，索引形如关键词索引，但关键词是 transformer 选的；借鉴 OpenSearch 的 inference-free 方案，模型只在文档插入时运行，查询只是查权重表。
• 实现：SPLADE 模型本质是保留 MLM 头的 BERT，llama.cpp 转换时会丢弃该头，作者把 MLM 头复制进 sidecar 文件，在插入时用 C 实现于 ggml 上计算，倒排以行形式存入数据库；查询时读取权重行 scatter-add 进每文档得分。
• 性能：对比同文件内稠密检索，mini 模型检索质量损失约 7%，查询延迟降 99%、冷启动降 99%、查询路径内存降 95%。
• 可用性：提供 mini/base/multilingual 三个 OpenSearch 模型别名，首次使用自动下载；也支持自带稀疏编码器并用脚本转换。pip install sqlite-sparse。

定位类似 sqlite-vec 之于 embedding：与 sqlite-vec 同文件并用即可在单文件里实现 RAG 混合检索，纯 SQL 即得语义搜索，无 GPU、无模型下载。

原文链接 →

「研究」频道最新

• Nature MI 论文提出统一框架：从神经叠加到稀疏可解释编码 — GretaTuckute · 2026-09-12
• 星尘智能 SmoothRL：异步执行下机器人在线 RL 只学真正执行的动作 — jiqizhixin · 2026-09-12
• 为个人助手记忆系统自建评测，adebench 打出 93.7 分 — Soft-Lie-434 · 2026-09-12
• ECCV 现场激辩:视频生成模型是否让显式 3D 表征变得多余 — qixing_huang · 2026-09-12
• OpenAI 宣称攻克千禧年大奖难题,数学界却陷入不安 — The Verge AI · 2026-09-12
• 果蝇全脑模拟接入 1B 小模型：13.9 万神经元陪你聊天 — TinfoilTricorn · 2026-09-12

更多「研究」频道 AI 资讯 →