tomaarsen：token pooling 与嵌入量化、Matryoshka 兼容性出色
tomaarsen · x · 2026-11-11
sentence-transformers 维护者 tomaarsen 分享实验观察：token pooling 与（非对称）嵌入量化组合使用效果很好，甚至与 Matryoshka 表示学习也能搭配——虽然 Matryoshka 损失更大，但对原生维度远超 128 的模型效果不错。
所属事件:Sentence Transformers v6.3：token 池化感知训练大幅压缩多向量检索(11 条相关)→
「研究」频道最新
- ICLR 摘要词频对比：novel、comprehensive 骤降成 LLM 新指纹 — y_m_asano · 2026-11-12
- MIT Han Lab 等发布 Agent 自适应推理框架，延迟较 NVIDIA Dynamo 降 4.1 倍 — mit-han-lab · 2026-11-12
- Isomorphic Labs 总裁：用 AI 把药物研发从试错变成精密工程 — No Priors · 2026-11-12
- CreativityPrism 基准出炉:3 大领域 8 项任务横评 17 个模型创造力 — DanielKhashabi · 2026-11-12
- 开源量化方案 KQuant 让 Qwen 系列 MLX 量化最高逼近 3.7 倍 — m4rkGS · 2026-11-12
- 疑似评测泄漏：前沿模型全答错一道答案本身有误的 GPQA 题 — qberthet · 2026-11-12