AI爬虫数据：OpenAI和Anthropic大量使用llms.txt，Markdown页面仅占50%

marclou · x · 2026-08-13

TrustMRR 分析了最近30天超过100万次AI机器人访问，发现OpenAI和Anthropic在回答用户、索引页面和训练模型时大量使用llms.txt文件。Markdown页面被爬取的频率约为50%，AI机器人仍主要使用HTML。此外，/mcp页面是ChatGPT和Claude回答用户时爬取最多的页面。

原文链接 →

「Infra」频道最新

• Tobi 开源 walgit：无数据库的单二进制 Git 服务器 — jevon · 2026-08-24
• s3collections：用S3构建分布式系统持久化数据结构 — andersonbcdefg · 2026-08-24
• 预测市场：年底前美一州实施数据中心禁令概率 68% — Polymarket · 2026-08-24
• Ramp 用本地模型省钱，引发业界对 AI 成本反思 — annetgriffin · 2026-08-24
• GitHub Actions 额度耗尽，是时候迁移到自建 VPS 了吗？ — MicahBerkley · 2026-08-24
• Ubuntu 计划成为 RISC-V CPU 的参考操作系统 — bookwormengr · 2026-08-24

更多「Infra」频道 AI 资讯 →