SlideOn 方法拆解：稀疏自编码器重构嵌入再微调做检索
tomaarsen · x · 2026-10-20
tomaarsen 介绍 SlideOn 与 mSlideOn 的训练路线：SlideOn 从 DenseOn 起步，mSlideOn 从 mLateOn 起步。
流程分两步：先用稀疏自编码器（SAE）以少量激活特征重构 token 嵌入，再对主干与稀疏编码器联合做检索微调。由于基座模型本身已具备较强检索能力，微调收益有保障。配图展示了从 tokenizer、encoder、投影到 token 池化（逐维取最大）生成 32768 维稀疏向量的完整管线，并演示部分学习维度对应"太阳能""电池""储能"等可识别概念。
所属事件:LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 双版本(23 条相关)→
「研究」频道最新
- Mirror 让 Minecraft 角色无奖励打铁镐:视频模型当规划器的新范式 — vincesitzmann · 2026-10-20
- 单卡一小时训练降尺度模型，把法国气温预报从 28km 提到 5.5km — yb2698 · 2026-10-20
- 新论文提出进度感知蒸馏，缓解小模型智能体推理停滞 — Yuanpu Cao · 2026-10-20
- HERA：让 Agent 框架与环境共同进化，学会何时弃答 — UW · 2026-10-20
- HouseholdBench:LLM 预测家庭经济行为,最佳模型降误差 12.2% 仍不敌 GBDT — daveholtz · 2026-10-20
- Mirror 作者预言「arm-farm 复兴」:视频模型让机器人学习经验变得可行 — vincesitzmann · 2026-10-20