Seek: Self-Evaluative Exploration for Knowledge Retrieval
Amin Bigdeli, Radin Hamidi Rad, Negar Arabzadeh, Sajad Ebrahimi, Hai Son Le, Charles L. A. Clarke, Ebrahim Bagheri
cs.IR
2026-09-24
滑铁卢的Seek在测试时迭代生成伪段落、重新探库、用LLM打0-3相关分。Qwen2.5-7B在BRIGHT上均值nDCG@10达30.9,相对BM25的17.0提升82%,超过同骨干的训练重排序器。
现在的 LLM 检索和重排序几乎都是一次探库。BM25 先取出 top-100,重排序器再把这 100 条排好。漏掉的相关文档永远回不来。稠密检索把算力前移,通常也还是单次。推理密集型查询词汇对不上、约束藏在题面里,一次 BM25 的召回上限尤其薄。
Agent 式深度搜索会改写查询、看证据、再搜,但目标一般是拼出答案。Seek 的输出是一份文档排序,指标是 nDCG 和 Recall,评的是固定语料上的 ad-hoc 检索。
Seek 免训练,测试时闭环三步,最多 T=5 轮。每轮用同一个 LLM 既当生成器也当评估器,论文试了 Qwen2.5-7B-Instruct、Qwen3-4B 和 GPT-4.1。
提前停的条件有两条:当前 top-10 全是最高档,或连续两轮 top-10 集合不变。终榜两层:有评估的文档按相关分排,同分用各轮检索分的最大值;没评估的文档接在后面,仍按最大检索分。
主指标 nDCG@10。BRIGHT 七个 StackExchange 子域,TREC DL 走 MS MARCO 约 880 万段落。
| 方法 | 骨干 | DL19 | DL20 | BRIGHT 均值 |
| BM25 | - | 50.6 | 48.0 | 17.0 |
| ReasonIR-8B | LLaMA-3 | - | - | 24.8 |
| TFRank-7B | Qwen2.5 | 66.5 | 59.3 | 26.8 |
| ERank-4B | Qwen3 | 71.1 | 66.7 | 27.3 |
| RankGPT | GPT-4 | 75.6 | 70.6 | 24.7 |
| Seek | Qwen2.5 | 71.6 | 65.1 | 30.9 |
| Seek | Qwen3 | 66.3 | 67.0 | 33.3 |
| Seek | GPT-4.1 | 73.8 | 71.0 | 37.4 |
Qwen2.5 配置相对 BM25 的 17.0 提升 82%,并超过所有列出的同骨干训练重排序器。Qwen3 配置相对 ERank-4B 的 27.3 再高 22%。GPT-4.1 在七个子域里六个最高,比最强基线相对高 37%。TREC 上 Seek 与训练重排序器打平,不占 nDCG 便宜;便宜在 Recall@100:重排序无法救回初始池里没有的文档。Biology 召回从 42 到 82,Psychology 从 38 到 72。
BRIGHT-Biology 上,BM25 的 18% nDCG / 22% 召回,第一轮升到约 40% / 43%,第二轮约 45% / 53%,三轮后 nDCG 停在约 46%,召回缓慢爬到 58%。换 ReasonIR-8B 当第一段,Seek 均值从 24.8 到 32.3;配 BM25 的 30.9 已经接近,迭代反馈比第一段检索器更主导。
推理检索的瓶颈经常是候选池,不是重排序器会不会想。Seek 用测试时多轮探库换掉「先训一个推理重排序器」这条路,同骨干、不微调就能超过 Rank-R1、TFRank、ERank。代价是每轮都要生成伪段落并评估新文档,TREC 这种大库更贵。若业务已经能接受 LLM 评估相关性,这套闭环可以直接垫在深度搜索 agent 的取证前面。
论文几乎没报金钱或 token 成本,只给了轮数和每轮评估 10 篇。评估器就是生成器,错误相关分会写进下一轮查询,没有人标校准。BRIGHT 的 82% 相对提升对基线 BM25=17.0 很显眼,绝对分数 30.9 离「已解决」还远。TREC 上 nDCG 并不超过最强重排序器,故事主场是推理密集、词表对不上的查询。图 3 正文写 Qwen2.5、题注写 Qwen3,轮次曲线该跟哪条骨干,读者只能自行打一个问号。没有把 Seek 嵌进完整 QA agent 的实验,检索组件这一定位还是设想。