Hugging Face靠去重省存储

lhoestq · x · 2026-07-10

Hugging Face 通过文件分块去重节省了大量存储空间。帖子说明，按文件内和跨文件去重后，平台物理存储量与实际数据量之间出现了巨大差距，并且这一能力已经对所有用户开放。