Cloudflare 推出新方案:屏蔽 AI 训练爬虫同时不影响搜索收录
djfergus · hn · 2026-09-16
Cloudflare 在官方博客发布「accountable mixed-use crawlers」方案,回应内容方长期的两难: robots 规则只能一刀切,要么放行爬虫换取搜索流量、要么全面屏蔽连搜索曝光一起丢。
新方案允许网站管理员在允许搜索引擎抓取以维持可发现性的同时,明确禁止这些爬虫将内容用于 AI 训练,并对混合用途爬虫提出问责要求。HN 上已就其可行性与爬虫合规性展开讨论。
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02