Sentence Transformers v6.3 详解：token pooling 原理
tomaarsen · x · 2026-11-11
tomaarsen 解释多向量检索模型的 token pooling 机制：模型为每个 token 保留一个向量，让不同查询 token 匹配文档不同部分，但向量数量累积庞大。token pooling 通过层次聚类将相似文档向量合并为簇均值，减少需存储和打分的向量数。配图展示以距离阈值 τ 切割聚类树，10 个 token 可合并为 4 个池化向量（2.5 倍压缩）。
所属事件:Sentence Transformers v6.3 发布：token 池化感知训练(7 条相关)→
「研究」频道最新
- 细胞逆龄至 20 岁以下实验刷屏，博主科普「长寿逃逸速度」 — Dr_Singularity · 2026-11-12
- ICLR 2027 已有约 50 篇论文撞名 PRISM，学术命名趋同引热议 — deliprao · 2026-11-12
- 不用 LLM 达 37%:1 亿参数循环 Transformer 在 ARC-AGI-2 Kaggle 刷新纪录 — rbhar90 · 2026-11-12
- Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12
- 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
- 用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元 — voooooogel · 2026-11-12