Google 官方视频讲解 robots.txt 规则与 AI 爬虫注意事项

OnlineInference · x · 2026-10-22

Google 的 Gary Illyes 与 Chery Prommawin 发布「Non-Canonical Cabinet」系列第二支视频，讲解 robots.txt 实际能写什么。要点：robots.txt 用于限制 Googlebot 抓取，应符合 RFC 9309 标准；非英文字符的规则路径需使用百分号编码；不要以为规则人能看懂就有效，需验证语法并实际测试 URL 模式；处理含国际字符或 emoji 的 URL 时要小心编码不一致。同时提醒：Google 支持的指令，其他搜索引擎或 AI 爬虫未必支持——对想管控 AI 爬虫抓取的站长是实用参考。