单卡 55 小时复现 Linkup 稀疏嵌入模型法语版
tomaarsen · x · 2026-10-12
社区作者 Loïck Bourdois 复刻了 Linkup 三周前开源的 150M 参数稀疏嵌入模型 linkup-sparseup-embed-v1，并改造成法语版本 Sparseup-fr。
架构改动：将英语骨干换成多语言版 mLateOn-unsupervised（支持含法语在内的 10 种语言）；MLM 头改用 mmBERT-base，并把词表从 256,000 裁剪到 50,240 个法语语料高频 token——刻意保持 64 的倍数以利好 GPU，同时模型规模与英文版（50,370 tokens）相当。
训练成本：单张 RTX 6000 Pro 训练约 55 小时。原版方法基于 LightOn 今年早些时候的工作：从 LateOn-unsupervised 出发，嫁接 ModernBERT 的 MLM 头再微调，在 BEIR-13 上比同规模此前 SOTA 高 2 分。
所属事件:法语稀疏检索模型 sparseup-fr-v0 开源上架(2 条相关)→
「研究」频道最新
- Sakana AI 提出 MASS:多智能体自监督驱动递归自我改进 — hardmaru · 2026-10-13
- 为编程任务微调 LLM 准备后训练数据像「黑魔法」,难点全在细节 — ayushthakur0 · 2026-10-13
- JQD:DM 推出特别工作流专刊:用共享 skill 文件把 LLM 纳入论文评审 — manoelribeiro · 2026-10-13
- 区分「理解深度」与「保持力」:仅看行为无法诊断模型真实能力 — burny_tech · 2026-10-13
- BudgetPix 自适应分词：25% 算力匹配全算力像素扩散图质 — _akhaliq · 2026-10-13
- SoftwareGym 合成 GUI 训练环境,OSWorld 成绩相对提升 37% — _akhaliq · 2026-10-13