Meta FAIR 提出 e-means：1.4~2.6 epoch 胜过 k-means 25 epoch，GPU 提速 10-45 倍
kastnerkyle · x · 2026-11-10
Meta FAIR 发布论文 e-means，用指数移动平均（EMA）重做 mini-batch k-means，在聚类质量与速度上同时超越经典 Lloyd 算法。
核心结果
- 在广泛使用的 embedding 数据集上，e-means 用 1.42.6 epoch 就达到 Lloyd k-means 25 epoch 的损失，对应 1045 倍 GPU 实际提速（对比 Flash-KMeans、Faiss-GPU 等最优实现），且常胜过 k-means++
- 示例：把 100 亿条 DINO 向量的新数据集 DINO10B 分成 1600 万个簇，仅用 2.5 epoch
方法与发现
- 将原本用于 VQ-VAE 等追踪动态分布的 EMA 更新规则，配合余弦退火调度用于静态数据集聚类
- 建立 scaling laws：decay 率与 batch size 对最终性能的影响可直接由问题规模（点数 n、簇数 k、epoch 数 T）公式化确定，无需超参搜索
- 反直觉发现：k-means++ 初始化虽理论更优，但串行太慢，纯随机初始化的 e-means 整体更快且效果更好
- 标准 SGD 在超大 batch 下质心更新会崩，EMA 天然把质心约束在数据凸包内，解锁大 batch 的 GPU 利用率
- 训练末尾提供两种近零成本收尾策略："last-epoch-mean" 降训练 MSE，"slow-EMA" 作强正则大幅降测试 MSE
代码与网站已开源，DINO10B 本身也是新的极端规模向量检索/聚类 benchmark。
所属事件:Meta FAIR 发布 e-means：聚类更快更省算力(2 条相关)→
「研究」频道最新
- VIALS-AA 基准：Claude Fable 5.2 以 67% 居首，工具调用远超对手 — ArtificialAnlys · 2026-11-10
- 西弗吉尼亚大学学者分享十年脑白质束成像研究成果 — PTenigma · 2026-11-10
- 作者晒 pSTAT1 与 importin alpha 5 结合的冷冻电镜结构(11GJ) — chaitjo · 2026-11-10
- ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10
- RAGCap-Bench:细粒度评测 Agentic RAG 中间能力的新基准 — kalyan_kpl · 2026-11-10
- RBA 让 LLaVA-OneVision-2 训练无损提速 3 倍，已合入主仓库 — liuziwei7 · 2026-11-10