SQLite FTS5 纯基线在 Agent 记忆榜击败中位数:排 22/50

No_Issue_8224 · reddit · 2026-10-21

在 Agent Memory Leaderboard 八月的公开文本榜上,SQLite-FTS-Baseline 拿到 41.79 分、排 50 中的第 22 名,高于 40.78 的榜上中位数。它自称「最小可部署基线」:SQLite 存原始消息,FTS5 做全文检索,BM25 排序。同榜的 just-a-BM25 得 38.47 分排第 35,其实现是在精确 userid 范围内对逐字存储的消息跑 BM25,不用任何 LLM、embedding 模型或重排器。

作者的启示:基线应该是自己真正跑过的东西,而不是想当然的数字。本地助手的历史记录里混着确切的人名、命令、路径和旧请求——在叠加更多检索机制之前,应先量化纯全文搜索在自己聊天记录上能找回多少目标消息、额外的组件是否真的改善同样的查询,否则「大多是在收集好看的 demo」。作者自己也保留了一组能手动在日志中找到答案的问题做对比,但尚未完成。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →