Meta 爬虫一天打出 70 万请求，开发者呼吁按 UA 向爬虫收费
kleffew94 · x · 2026-10-06
- 开发者 @joshtriedcoding 曝光 Meta 爬虫滥用行为：Upstash 一天内收到超 70 万次请求，大量页面被重复抓取数百次。
- @rohinlohe 提出应对思路：算力和带宽成本应由滥用爬虫买单，可按 User-Agent 对爬虫收费或直接封禁。
- 引用 Cloudflare Monetization Gateway 文档：通过 x402 协议对匹配流量施加付费要求，可保护 API、MCP 工具、网站与数据集；买家在 HTTP 请求内签名完成加密支付授权，由 Coinbase x402 Facilitator 结算，支持按调用方属性（如已验证 bot）差异化定价。
「Infra」频道最新
- Relace AI 单日经 OpenRouter 服务 2.3T tokens,超过 OpenAI 的 1.8T — stuffyokodraws · 2026-10-06
- Cloudflare 可观测性支持自然语言查询，附 9 条排障 prompt 模板 — hichaelmart · 2026-10-06
- Cloudflare 推 X402 协议：AI agent 抓取数据须自动按次付费 — kleffew94 · 2026-10-06
- YuE2 纯浏览器跑通:MacBook 上 60 秒生成 40 秒歌曲 — realmrfakename · 2026-10-06
- 推算 DeepSeek 一个月跑 13 亿个沙箱:峰值 17 万并发,约 3-5 分钟一个 — teortaxesTex · 2026-10-06
- Perplexity CEO:有用户每月为 agent 消耗超 1 万美元算力 — rohanpaul_ai · 2026-10-06