Cloudflare 开始给验证爬虫打分:是否遵守 robots.txt 成评价指标
shashib · x · 2026-10-18
Cloudflare 推出对 Verified bots 的新评分机制,衡量爬虫是否尊重网站发布的抓取偏好。
- 首批纳入两个信号:爬虫是否长期遵守 robots.txt,以及收到 HTTP 429 限流响应后是否降低抓取频率
- 该系统已在 Cloudflare 内部运行,未来将让客户决定该评分在流量处理中的权重
- 对内容方与 AI 公司的抓取博弈有直接意义:robots.txt 和限流行为正式成为爬虫信誉评价输入
「Infra」频道最新
- 韩股单日暴跌7.57%，三星SK海力士一度跌10%：AI需求未变，融资能力变了 — shashib · 2026-10-18
- 14 天三桩大事：Anthropic 150亿美元算力协议佐证 SpaceX「最后窗口期」论 — elonmusk · 2026-10-18
- 两年前被质疑是「循环太贵不可信」的 AI 生成内核，如今世界已变 — bingxu_ · 2026-10-18
- ClickHouse 零秒级聚合 1000 亿行，parallel replicas 横向扩展揭秘 — Abhishekcur · 2026-10-18
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18