AutoIndex 在不改检索器下让 CRUMB 指标提升 8.4%
mrdrozdov · x · 2026-07-22
AutoIndex 不会收敛到一套通用预处理公式,而是会针对不同语料学习出语料专属程序,去切分、归一化、补充信息、重加权并重组文档。
作者强调,目标不是找“最佳 chunk 大小”,而是学习一个能把最有用证据呈现给检索器的表征程序。为了隔离这一效果,实验中固定了其余检索系统组件:
- BM25 检索器不变
- 排序函数不变
- 索引后端不变
唯一变化的是“把文档映射为索引单元”的程序。结果在 CRUMB 上带来:
- Recall@100 提升 8.4%
- nDCG@10 提升 8.3%
作者认为,这个提升很可观,而且没有动到 retriever 微调、embedding 更新或在线反馈。
「编程与Agent」频道最新
- 一张 Codex 梗图,把“great”玩成笑点 — Aizkmusic · 2026-07-22
- Auto-Company 把 14 个角色 agent 变成本机全天候 AI 公司 — aigclink · 2026-07-22
- Auto-Company 用 14 个角色 agent 跑起自主 AI 公司 — aigclink · 2026-07-22
- DSPy+RLM 智能体可跑在 Qwen-4B 上,长上下文外置处理 — dosco · 2026-07-22
- Fractal 完全跑在 git worktree、tmux 和本地 SQLite 上 — rohanpaul_ai · 2026-07-22
- Fractal 支持根预算、Markdown 记忆与递归智能体硬限制 — rohanpaul_ai · 2026-07-22