Hugging Face 托管 Common Crawl
lhoestq · x · 2026-07-17
转发内容提到，**Common Crawl** 作为“互联网的 petabytes 级共享基础设施”，对开放式 AI 训练非常关键。 现在 **Hugging Face** 也托管了它，使用者不再需要 AWS credentials 就能访问，少维护一个 secret，也让数据使用更方便。
lhoestq · x · 2026-07-17
转发内容提到，**Common Crawl** 作为“互联网的 petabytes 级共享基础设施”，对开放式 AI 训练非常关键。 现在 **Hugging Face** 也托管了它，使用者不再需要 AWS credentials 就能访问，少维护一个 secret，也让数据使用更方便。