腾讯 GistRank 把候选文档压成 4 个 gist token,LLM 重排降本近全文本质量

_reachsumit · x · 2026-10-30

腾讯团队在 arXiv 论文 GistRank 中研究 LLM 列表式重排的软压缩:把每个候选段落压缩为 4 个可学习的 gist token,使 LLM 可从短 prompt 完成重排,大幅降低随候选数量与长度线性增长的推理成本。研究发现原生 gist 表示不适合排序的两个原因:严格因果编码削弱每个 gist token 对段落的吸收,且表示从未被训练出区分相近候选的相对偏好结构。GistRank 采用三阶段训练:半双向注意力下学习忠实 gist token、成对训练注入判别性比较能力、再适配列表式排序,质量接近全文本重排。