开发者整理AI爬虫验证页：用户代理与IP范围速查
marclou · x · 2026-07-07
独立开发者marclou制作了一个页面，汇总已验证的AI机器人信息，分为三类：AI回答类（如ChatGPT抓取站点用于回答问题）、搜索索引类（如Googlebot）和训练数据类（各AI实验室爬虫）。每条记录包含用户代理字符串和官方IP地址范围。目前Grok/xAI尚未公布官方IP范围，是唯一缺失的主要厂商。此工具帮助网站所有者了解哪些AI系统正在抓取其内容，并做出相应访问控制决策。
marclou · x · 2026-07-07
独立开发者marclou制作了一个页面，汇总已验证的AI机器人信息，分为三类：AI回答类（如ChatGPT抓取站点用于回答问题）、搜索索引类（如Googlebot）和训练数据类（各AI实验室爬虫）。每条记录包含用户代理字符串和官方IP地址范围。目前Grok/xAI尚未公布官方IP范围，是唯一缺失的主要厂商。此工具帮助网站所有者了解哪些AI系统正在抓取其内容，并做出相应访问控制决策。