屏蔽CCBot会影响训练语料
daluoseo · x · 2026-07-12
很多网站会在 `robots.txt` 里屏蔽 **CCBot**，也就是 Common Crawl 的爬虫。 帖子解释了 Common Crawl 的作用：它长期抓取并保存海量网页数据，而这些数据常被各类大语言模型用作基础训练语料。**如果把 CCBot 挡掉，网站大概率不会进入 Common Crawl 索引，也就更不容易被纳入 LLM 训练数据。** 核心结论是：`robots.txt` 的爬虫策略，实际上会影响网站未来是否会出现在 AI 训练语料中。