Hugging Face 推出 Buckets 存储类型,支持 33TB 大文件
NielsRogge · x · 2026-08-23
Hugging Face 发布了新的仓库类型“Buckets”,允许用户分享和托管超大文件,这是继 models/datasets/Spaces 之后的第四种类型。
核心特性:
- 面向大文件优化:基于 Xet 技术,提供类似 AWS S3 的对象存储服务,专为 AI 工作负载优化。
- 非 Git 管理:与传统的 Git 仓库不同,Buckets 是远程对象存储容器,不跟踪文件历史,适合存储训练检查点、日志、中间产物或不需要版本控制的大规模文件集合。
- 去重与速度:支持内容寻址的去重存储。
应用案例:
- @rerundotio 发布了 xdofai 的 ABC-130k 双手遥操作数据集,转换后的 RRD 文件存储在一个 Bucket 中,总量达 33TB,用户可直接在 Rerun 中查看或用于训练工作流。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元,设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic,网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能:降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API:兼容 Tinker SDK,成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算:AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16