Jylus 时序检索跑分 84.54 NDCG@10,推出三个只读 MCP 工具
jylusdev · reddit · 2026-10-08
开发者 jylusdev 发布自建时序检索引擎 Jylus 的基准测试结果:在 10 万份真实文档上回答 1000 个时序问题,取得 84.54 NDCG@10。核心能力是区分同一记录在不同时间戳下的不同状态。
分类成绩:
- 历史状态查询:90.37(200 题)
- 时段间变化:88.46(200 题)
- 时间排序:80.09(503 题)
- 迟到的修正:88.31(65 题)
- 被取代的事实:84.48(29 题)
性能方面,在 100 题子集上中位响应时间从 6.06 秒降至 1.99 秒(降 67.13%),排名不变。
产品已通过三个只读 MCP 工具暴露:getcontextpack(在 token 预算内取证据)、resolvestate(按历史时间点查状态)、getevidence(查看底层源记录),由现有模型负责推理,模型先拿到带来源的 Context Pack 再回答。作者注明这是自测基准,与官方 TEMPO 无关,且 NDCG@10 衡量检索排名而非最终答案准确性。
「编程与Agent」频道最新
- 观点：代码是 Agent 唯一能原生读写的载体，App 只是人的界面 — _AustinCalvert_ · 2026-10-08
- GitHub 新设置：可整体关闭 PR 或仅限协作者提交 — jedisct1 · 2026-10-08
- 作者弃工写机器人,让 AI 帮 OpenSCAD 补上主题编辑器 — _Stocko_ · 2026-10-08
- 别只跑 Evals：微基准测试帮你定位 AI 系统哪个组件在退化 — arpit_bhayani · 2026-10-08
- 作者一年实测筛出 12 个 Claude Skills 合集，最高 29.7 万星 — PawelHuryn · 2026-10-08
- JetBrains 开源 Mellum2.1：RL 后训练强化 Agentic 编程能力 — huggingface · 2026-10-08