日志分析显示 OpenAI/Anthropic 暂未抓取 llms.txt

gaganghotra_ · x · 2026-08-18

开发者通过分析服务器爬取日志发现，尽管 OpenAI 和 Anthropic 的爬虫每天会对网站发起高达 30 万次的 URL 请求，但没有任何针对 /llms.txt 的请求。

这一现象表明，尽管 llms.txt 被提议为给 LLM 准备的标准文件（类似给搜索引擎的 robots.txt），但这些主流模型厂商尚未在爬取工作流中实际采纳或主动寻求该文件。作者指出，如果它们不像 Googlebot 寻找 robots.txt 那样主动寻找它，说明该标准目前对公司的实际工作流影响有限。