仅改损失函数：49 向量达到 193 向量 97.8% 检索质量
tomaarsen · x · 2026-11-11
Sentence Transformers 作者 tomaarsen 用同一批 120k MS MARCO 三元组训练两个 ModernBERT-base 模型，只改变损失函数设计。
- 多向量模型每个 token 存一个向量，检索效果好但存储成本高；token pooling 将相似文档向量合并为簇均值，可减少需存储和打分的向量数
- 普通（pooling-unaware）训练的模型在池化后保留 94.6% 自身未池化分数
- 池化感知训练在约 49 向量/文档时，NanoBEIR@13 平均 nDCG@10 从 49.03 提升到 51.23，保留 97.8% 未池化分数
- 配图显示在 32/48/64/96 向量各档位，pooling-aware 训练一致优于标准训练
所属事件:Sentence Transformers v6.3 发布：token 池化感知训练(7 条相关)→
「研究」频道最新
- 细胞逆龄至 20 岁以下实验刷屏，博主科普「长寿逃逸速度」 — Dr_Singularity · 2026-11-12
- ICLR 2027 已有约 50 篇论文撞名 PRISM，学术命名趋同引热议 — deliprao · 2026-11-12
- 不用 LLM 达 37%:1 亿参数循环 Transformer 在 ARC-AGI-2 Kaggle 刷新纪录 — rbhar90 · 2026-11-12
- Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12
- 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
- 用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元 — voooooogel · 2026-11-12