SlideOn 技术细节:SAE 预训练 + Matryoshka 稀疏训练
tomaarsen · x · 2026-10-20
HF 模型卡补充细节:SlideOn 基于 DenseOn,通过 SAE 预训练与检索监督微调学到 32,768 维稀疏表示;token 表示先映射到 top-32 隐激活再 ReLU,跨 token 最大池化得到最终向量。官方博客含完整方法、结果与消融,同时开源 SAE 初始化与最终模型。
所属事件:LightOn 开源 SOTA 稀疏检索器 SlideOn，174M/339M 双版本(23 条相关)→
「模型」频道最新
- 美国开源模型一周三连跳：Meta Muse Spark Open 智能分领跑至 38.9 — ArtificialAnlys · 2026-10-20
- 前谷歌员工访谈：真正的瓶颈是数据中心和电力，而非 GPU 产能 — RihardJarc · 2026-10-20
- LLM 每次回答引用都在变,引用重叠研究还有效吗 — lilyraynyc · 2026-10-20
- ElevenLabs 发布 Eleven Realtime：半秒开口还能边说边推理 — lukeharries · 2026-10-20
- nrehiew_:开源权重已是白菜价,别提 OpenAI/Anthropic 收多少 — nrehiew_ · 2026-10-20
- Gemini 4 搭建 3D 元素周期表，随 Tom Lehrer 名曲同步演绎元素 — GoogleDeepMind · 2026-10-20