Zyphra 开源 CPU 数据去重工具 PUFFER，提速 35 倍
bclavie · x · 2026-09-02
Zyphra Research 发布了用于 LLM 规模数据集的新型增量模糊去重系统 PUFFER。该系统完全在 CPU 上运行，相比现有方法实现了 11-35 倍的加速。Zyphra 已将其用于内部训练数据集，并以 Apache 2.0 许可证开源。
「Infra」频道最新
- 为了 AI 视频生成换 AMD 显卡？实测 ROCm 进展 — iridescentblob · 2026-09-02
- HybridInfer：本地模型卡顿自动切换云端的智能路由 — simrankoulsm · 2026-09-02
- 循环 Transformer 谣言成真，或削弱 HBM 需求 — zephyr_z9 · 2026-09-02
- 买 GPU 跑本地模型是伪需求？算力账不如直接订 API — brandon_galang · 2026-09-02
- HybridInfer:本地模型优先推理,卡死自动回退云端的开源路由 — simrankoulsm · 2026-09-02
- 4000 块 GB200 抵达德州，供 TACC 学界最大超算训练开源模型 — AlexGDimakis · 2026-09-02