SlideOn 稀疏向量与词表解耦：激活特征可直接建倒排索引
tomaarsen · x · 2026-10-20
tomaarsen 在 SlideOn 讨论串中解释其打分机制：两个模型均输出 32768 维稀疏向量、以点积打分，与许多稀疏模式不同，维度独立于词表 token。
由于激活特征可枚举，可以将它们存入倒排索引：查询的激活特征选中对应的倒排链（posting lists），再由匹配权重累加得到文档得分。配图以"太阳能如何存储"查询为例完整演示了建链、召回候选、加权打分三步流程，无关文档因无共享特征而被完全跳过。
所属事件:LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 双版本(23 条相关)→
「研究」频道最新
- Mirror 让 Minecraft 角色无奖励打铁镐:视频模型当规划器的新范式 — vincesitzmann · 2026-10-20
- 单卡一小时训练降尺度模型，把法国气温预报从 28km 提到 5.5km — yb2698 · 2026-10-20
- 新论文提出进度感知蒸馏，缓解小模型智能体推理停滞 — Yuanpu Cao · 2026-10-20
- HERA：让 Agent 框架与环境共同进化，学会何时弃答 — UW · 2026-10-20
- HouseholdBench:LLM 预测家庭经济行为,最佳模型降误差 12.2% 仍不敌 GBDT — daveholtz · 2026-10-20
- Mirror 作者预言「arm-farm 复兴」:视频模型让机器人学习经验变得可行 — vincesitzmann · 2026-10-20