三大 AI 爬虫 30 天抓取 1150 次 robots.txt
dejanseo · x · 2026-08-15
Dejan.ai 公布了对其网站机器可读文件的 30 天日志分析。数据显示，Google、Anthropic 和 OpenAI 的爬虫共抓取了 1,150 次 robots.txt，但仅抓取了 4 次 llms.txt（用于 LLM 索引的协议）和 23 次 OKF 内容包。这一数据表明，尽管 llms.txt 协议已提出，主流 AI 厂商对其采用率极低，仍主要依赖传统的 robots.txt。
「Infra」频道最新
- Plivo 宣布印度 AI Agent 语音通话降价至每 30 秒 0.19 卢比 — bevenky · 2026-08-15
- Qwen 3.8 27B在AMD上跑出51 t/s，用户实测分享 — pmttyji · 2026-08-15
- 博主质疑 Mythos 推理优化传言：太浪费算力 — scaling01 · 2026-08-15
- OpenAI新模型Cerebras实测：速度提升近7倍 — haider1 · 2026-08-15
- 构建磁盘优先的 ComfyUI 长视频管线 — sugar_shak · 2026-08-15
- Google Cloud C4N 网络性能实测：单核近 600 万包/秒 — HankYeomans · 2026-08-15