Hugging Face 实测:Xet 增量上传让数据集同步省 90% 流量
Hugging Face · youtube · 2026-10-07
Hugging Face 官方视频演示如何用 Xet 存储层只上传数据集变化的部分:
- CSV 场景:向 191 MB 的 NYC taxi CSV 追加 100 行再上传,Xet 只传输新增的数据块。
- Parquet 场景:用 PyArrow 21+ 的 usecontentdefinedchunking=True,在 52.9 MB 文件前插入 100 行时,只有 8.6 MB 走网络;100 MB 文件的上传量从约 90 MB 降到约 6 MB。
- 工作流:用 hf CLI 创建 Bucket、cp、sync;Parquet 需配合内容定义分块设置。
- 生产注意事项:与 S3 工具的兼容、版本管理、排序与 writer 参数设置等坑点。
适合持续向 Hub 推送和更新大规模数据集的数据/ML 工程师。配套博客给了完整命令与代码。
「Infra」频道最新
- 欧洲 AI 短板不止模型：算力基建跟不上数月一代的迭代节奏 — ingliguori · 2026-10-07
- Chrome 155 正式支持 JPEG XL：压缩率比 JPEG 高 30-50% — jedisct1 · 2026-10-07
- 双 7900XTX 跑 27B 模型：等 LPDDR6 新平台还是上 WRX80 — MikeSouto · 2026-10-07
- POC 2026 议题:通过 NVIDIA GPU 驱动逃逸只读容器 — evilsocket · 2026-10-07
- 谷歌发布 SAM：让分散各机的 AI Agent 互发现、互调用工具 — thisguyknowsai · 2026-10-07
- 美光 NVHBM:带宽提升 30%,HBM 功耗降 15% — Ok_Warning2146 · 2026-10-07