Cloudflare 推出新方案:屏蔽 AI 训练爬虫同时不影响搜索收录
djfergus · hn · 2026-09-16
Cloudflare 在官方博客发布「accountable mixed-use crawlers」方案,回应内容方长期的两难: robots 规则只能一刀切,要么放行爬虫换取搜索流量、要么全面屏蔽连搜索曝光一起丢。
新方案允许网站管理员在允许搜索引擎抓取以维持可发现性的同时,明确禁止这些爬虫将内容用于 AI 训练,并对混合用途爬虫提出问责要求。HN 上已就其可行性与爬虫合规性展开讨论。
「Infra」频道最新
- SentencePiece Lite 发布:50KB 二进制,tokenization 快 20-30 倍 — heiga_zen · 2026-09-16
- 华为内部万字备忘录泄露：押注昇腾950替代英伟达，不做基础模型 — pstAsiatech · 2026-09-16
- Qwen 27B 与 DeepSeek v4 Flash 同机异构运行,展示 GPU+统一内存方案 — samsja19 · 2026-09-16
- JPMorgan 预测 2028 年 GPU/ASIC 出货超 2500 万，ASIC 主导增长 — bookwormengr · 2026-09-16
- iamtrask:终局不是单个 AGI,而是人人运行小型 LLM 的信任网络 — iamtrask · 2026-09-16
- Program-as-Weights:0.6B 模型跑赢 32B 直接提示,内存仅 1/50 — yuntiandeng · 2026-09-16