Meta FAIR开源e-means:十分之一epoch超越k-means,GPU提速10-45倍
TheTuringPost · x · 2026-11-15
Meta FAIR 与 École Nationale des Ponts et Chaussées 的研究者在 arXiv 发布 e-means,一种基于 mini-batch 与指数移动平均(EMA)的 k-means 替代算法:
- 速度:1/10 的 epoch 内精度超越标准 k-means,在实际嵌入数据集上 25 epoch 的 Lloyd 损失只需 1.4-2.6 epoch 即可达到,换来 10×–45× 的 GPU 墙钟加速;在 H100 上对 100 亿条 DINOv2 嵌入(DINO10B)切出 1600 万簇仅用 2.5 epoch
- 原理:每个 mini-batch 后用 EMA 混合更新质心,新数据权重高、旧数据渐衰,聚类快速收敛且稳定
- 零调参:给出关于数据集规模 n、簇数 k、epoch 数 T 的精确 scaling law,可自动确定 batch 与步长,免去以往 mini-batch 聚类的试错调参
代码开源在 FAISS 仓库(emeans),适合向量检索、量化、大规模数据清洗等场景。
「研究」频道最新
- Epoch AI：后训练增强等效 5-20 倍算力收益，成本不到 1% — CFGeek · 2026-11-15
- Leech 格点量化把 Qwen3 压到 2.7 比特,质量超 IQ2_S 但速度更慢 — Fuzzy-Layer9967 · 2026-11-15
- 用自然尺度高斯噪声做4维随机 steering 实验引发跟进讨论 — Sauers_ · 2026-11-15
- 「算力乘数」是什么?一文讲透 AI 的算法效率概念 — CFGeek · 2026-11-15
- 噪声注入替代温度采样?网友热议类对抗训练采样技巧 — Sauers_ · 2026-11-15
- 研究者反驳 Dwarkesh：定义并爬升 AGI 指标才是硬问题 — dhadfieldmenell · 2026-11-15