SQLite FTS5 纯基线在 Agent 记忆榜击败中位数:排 22/50
No_Issue_8224 · reddit · 2026-10-21
在 Agent Memory Leaderboard 八月的公开文本榜上,SQLite-FTS-Baseline 拿到 41.79 分、排 50 中的第 22 名,高于 40.78 的榜上中位数。它自称「最小可部署基线」:SQLite 存原始消息,FTS5 做全文检索,BM25 排序。同榜的 just-a-BM25 得 38.47 分排第 35,其实现是在精确 userid 范围内对逐字存储的消息跑 BM25,不用任何 LLM、embedding 模型或重排器。
作者的启示:基线应该是自己真正跑过的东西,而不是想当然的数字。本地助手的历史记录里混着确切的人名、命令、路径和旧请求——在叠加更多检索机制之前,应先量化纯全文搜索在自己聊天记录上能找回多少目标消息、额外的组件是否真的改善同样的查询,否则「大多是在收集好看的 demo」。作者自己也保留了一组能手动在日志中找到答案的问题做对比,但尚未完成。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam:一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲:AI 气象模型胜超算,但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练,较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23