实测:剪到 64+512 激活特征,BEIR 仅掉 0.02 分
tomaarsen · x · 2026-10-20
Matryoshka 训练把有效信息集中到最强特征。sentence-transformers 中可对 query 与 document 分别设 topk:query 剪枝减少倒排列表访问,document 剪枝减少存储。将 SlideOn 限制为 64 个 query 特征 + 512 个 document 特征后,BEIR-15 仅从 56.68 降到 56.66,检索 FLOPS 代理却从 30.87 降到 8.72——向量保持 32,768 维,只保留最大激活。
所属事件:LightOn 全开源稀疏检索器 SlideOn，模型数据代码齐发(26 条相关)→
「模型」频道最新
- 实测发现 4-bit 以下开源模型自迭代生成 3D 资产很吃力 — mervenoyann · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 开发者实测:Gemini Argon 分析调试日志优于 Fable 5.1 — ShikharMurty · 2026-10-21
- 用户让 ChatGPT「尖叫」，它陷入无限循环 AAAAHHH 停不下来 — AutomaticScene · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21
- qev-0.8B:3.5毫秒决策、1.3GB本地跑的微型模型登顶 — fajfas3 · 2026-10-21