NVIDIA 发布新嵌入模型并大幅提分
tomaarsen · x · 2026-07-17
NVIDIA 的 Nemotron-3-Embed-1B 采用了一个比较少见的压缩流程：先从 3B parent 通过 NVIDIA ModelOpt 做 NAS 剪枝到 2B，再用 8B teacher 通过 cosine + MSE loss 蒸馏，最后重复这一过程得到 1.14B。
作者还给出了检索评测结果：在 RTEB 16 个任务上，Nemotron-3-Embed-8B 的平均 NDCG@10 为 78.46，1B 为 72.38；同尺寸上一代 llama-nemotron-embed-1b-v2 只有 60.47，说明 1B 相比前代提升了 11.9 分。MMTEB Retrieval 上也有类似提升（71.04 vs 59.58）。
所属事件:NVIDIA 发布 Nemotron-3-Embed 系列(11 条相关)→
「模型」频道最新
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- DeepSeek 每 token KV 缓存两年降至 890 字节,开源闭源差距之辩 — teortaxesTex · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 爆料推测:fable 5.5 或达 4-5 万亿参数,以规模压制 Opus — haider1 · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27