0.1B 稀疏检索 SPLADE 实测胜过 8B 级稠密 embedding 模型
jeffrey-0711 · reddit · 2026-11-06
一位做本地 RAG 的开发者发现，用 SPLADE 稀疏检索（带语义的 BM25）替代稠密 embedding 模型后，检索质量反而更高、内存占用大幅下降。
他实测的是韩英文混合的 KURE-Sparse-nano（约 0.1B 参数），在自己 Mac 的 5394 个文件、52851 个 chunk、594 条查询的评测中：
- SPLADE（稀疏）MRR@10 约 0.67，中位查询延迟约 0.5 秒，全面领先
- Qwen3-Embedding-0.6B 稠密模型 MRR@10 仅约 0.49，且在他 16GB 的 MacBook Air 上几乎跑不动，机器过热重启
- 推理时 VRAM 占用不到 1.5GB，低配设备也能跑
- 反直觉的是：SPLADE + 稠密混合检索（MRR@10 约 0.60）反而不如 SPLADE 单独用
作者已开源整套实现（AutoRAG Agent），包括 KURE-sparse-nano 推理优化、Rust 写的 LanceDB 倒排索引。低资源本地 RAG 值得一试。
「编程与Agent」频道最新
- Meta 工程师将演讲：AI Agent 已能参加 Kaggle 竞赛 — AndLukyane · 2026-11-06
- 98% 源自训练数据：编码 Agent 疯狂安装已弃置的 MCP 服务器 — Arindam_1729 · 2026-11-06
- Ground Truth MCP 连接器：为 AI 代理提供新鲜证据与监控告警 — modelcontextprotocol · 2026-11-06
- Reddit MCP Server 开源：AI 代理可读写 Reddit 全功能接口 — modelcontextprotocol · 2026-11-06
- playmcp 用 AI 把任意歌曲一键变成可玩音乐游戏 — WhaleSong2077 · 2026-11-06
- Supabase 11 月更新:Grok Bot 接入 Cursor,聊天里一句话改代码 — dshukertjr · 2026-11-06