Hugging Face 推出 Buckets 存储类型,支持 33TB 大文件
NielsRogge · x · 2026-08-23
Hugging Face 发布了新的仓库类型“Buckets”,允许用户分享和托管超大文件,这是继 models/datasets/Spaces 之后的第四种类型。
核心特性:
- 面向大文件优化:基于 Xet 技术,提供类似 AWS S3 的对象存储服务,专为 AI 工作负载优化。
- 非 Git 管理:与传统的 Git 仓库不同,Buckets 是远程对象存储容器,不跟踪文件历史,适合存储训练检查点、日志、中间产物或不需要版本控制的大规模文件集合。
- 去重与速度:支持内容寻址的去重存储。
应用案例:
- @rerundotio 发布了 xdofai 的 ABC-130k 双手遥操作数据集,转换后的 RRD 文件存储在一个 Bucket 中,总量达 33TB,用户可直接在 Rerun 中查看或用于训练工作流。
「Infra」频道最新
- Hippius 推出去中心化存储,价格仅为云厂商 1% — markjeffrey · 2026-08-24
- 用低功耗迷你机做路由,通过 WoL 唤醒闲置的 AI 算力服务器 — Ok-Breakfast1878 · 2026-08-24
- 带宽优先架构:dMatrix 解决推理并发速度瓶颈 — BenBajarin · 2026-08-24
- Nvidia 网络架构存巨大惯性,NeoCloud 有望破局 — AccBalanced · 2026-08-24
- 传 Hugging Face 寻求出售,估值或超 130 亿美元 — xeophon · 2026-08-24
- 北大发布 TensorCast:冷启动提速 228 倍,TTFT 降 93% — jiqizhixin · 2026-08-24