Hugging Face 缓存大瘦身:v1.32 跨仓库去重,同权重 5 库只占 20GB
victormustar · x · 2026-09-18
huggingfacehub v1.32 引入本地缓存层面的内容寻址去重:基于 Xet 的相同文件在多个仓库间只存储一次。作者举例:如果 5 个仓库共享同一个 20 GB 的权重文件,磁盘占用从约 100 GB 降到约 20 GB。
- Xet 早已让远端存储按内容寻址,这次把这一特性延伸到了本地缓存
- blob 一旦已在本地方,其他仓库可直接复用,无需再下载任何数据
- 对频繁拉取多个共享底座模型(微调、量化变体)的用户是实打实的磁盘节省
所属事件:huggingface_hub v1.32 引入跨仓库共享下载缓存(2 条相关)→
「Infra」频道最新
- 超大规模云厂商自由现金流腰斩,大头流入了 Nvidia — docmilanfar · 2026-09-19
- Token 叠加训练:10B MoE 模型省 2.5 倍算力达同等损失 — gordic_aleksa · 2026-09-19
- 前美财政部经济学家晒图:美国电力产出增速放缓引发算力焦虑 — TheZachMueller · 2026-09-19
- 拉瓦尔大学联合 Mila 与 Vector 新建 AI 专用高性能算力集群 — Mila_Quebec · 2026-09-19
- 全球数据中心最密集的弗吉尼亚州出台大型项目新限制 — Polymarket · 2026-09-19
- 开源工具 Jev-LLM-Auto-Router 上线:自动路由大模型调用,号称大幅省成本 — airesearch12 · 2026-09-19