UMAP 0.6 发布:300 万 arXiv 论文降维不到 5 分钟
UMAP 作者 Leland McInnes 于 11 月 11 日发布 UMAP 0.6,这是该降维工具在速度与质量上的双重升级版本。新版本在 300 万篇 arXiv 论文(标题+摘要经 F2LLM-v2 8B 嵌入为 4096 维向量)的数据上降维不到 5 分钟,显著改善大规模场景表现。代码已在 GitHub 开源(lmcinnes/umap,BSD-3-Clause),并上架 PyPI 与 conda-forge,一行 pip install -U umap-learn 即可升级。作者特别感谢了社区贡献者的功能与修复以及提出建议的用户。
已确认
- 邻居搜索快约 4 倍,得益于更好地利用 PyNNDescent
- 全新递归初始化:「用 UMAP 初始化 UMAP」,先粗略排布图结构再逐层递归细化;在 307 万篇论文上仅需 32 秒(PCA 需 1 分 14 秒、谱初始化需 4 分 08 秒),起点更接近最终布局,使优化器在远少于旧方法的 epoch 内收敛到最终布局的 3% 以内
- 新优化器:固定种子即可复现结果,全核运行比此前快约 12 倍;突破了原设计对 attraction-repulsion 谱覆盖范围窄的限制,可在高得多的 repulsion strength 下表现良好,提供更好的 kNN recall
- 大规模下保真度提升的关键是高效的 hard negative mining 方法,使负采样在超大数据集上更有效
- 尽管速度更快,新优化器能在更细的尺度上解析数据结构,邻域精度显著优于 UMAP 0.5,保真度和细节均有提升
- 新优化器和初始化目前为可选项
- 配套发布官方教程「嵌入超大规模数据集」,以 arXiv 全量 307 万篇论文为例,讲解百万级规模下最关键的环节:最近邻搜索、嵌入初始化、布局优化器与 repulsion 强度等调参要点
为什么重要
UMAP 是广泛使用的降维与可视化工具,此前在大规模数据上的速度与初始化开销是主要瓶颈。0.6 版让百万乃至千万级数据集的嵌入在常规时间内可完成且可复现,同时精度不降反升,对处理海量高维嵌入(如 LLM 生成向量)的用户是实质性收益。
2026-11-11 ~ 2026-11-11 · 13 条相关
一手来源
- UMAP 0.6 发布:300 万篇 arXiv 降维不到 5 分钟 — leland_mcinnes ·
- UMAP 0.6 发布:百万级数据集大幅提速,固定种子全核运行快 12 倍 — leland_mcinnes ·
- UMAP 0.6 已上架 PyPI 与 conda-forge,代码开源于 GitHub — leland_mcinnes ·
- 【源头】UMAP 0.6 发布:300 万篇 arXiv 降维不到 5 分钟 — leland_mcinnes · 2026-11-11
- UMAP 0.6 新优化器实测:更细粒度结构、邻域精度反超 0.5 还更快 — leland_mcinnes · 2026-11-11
- UMAP 0.6 递归初始化:用 UMAP 自身初始化,30 秒优于 PCA/谱方法 — leland_mcinnes · 2026-11-11
- UMAP 0.6 递归初始化让优化器收敛所需 epoch 大幅减少 — leland_mcinnes · 2026-11-11
- UMAP 0.6 规模保真度提升关键:高效 hard negative mining — leland_mcinnes · 2026-11-11
- UMAP 0.6 新优化器突破原设计限制,支持更高 repulsion 强度 — leland_mcinnes · 2026-11-11
- UMAP 0.6 官方教程:百万级数据集嵌入的调参要点 — leland_mcinnes · 2026-11-11
- 【源头】UMAP 0.6 已上架 PyPI 与 conda-forge,代码开源于 GitHub — leland_mcinnes · 2026-11-11
- UMAP 0.6 正式发布:代码已上 GitHub,pip 一行升级 — leland_mcinnes · 2026-11-11
另有 4 条近重复转述:leland_mcinnes · leland_mcinnes · leland_mcinnes · leland_mcinnes