实测显示 Anthropic 宽松，OpenAI 与 xAI 封禁爬虫
AaronBergman18 · x · 2026-08-19
博主通过长期运行的 AI 公司网站地图监测工具发现，各大 AI 厂商对爬虫的策略截然不同：Anthropic 允许正常抓取；OpenAI 表现可疑且经常失败；xAI 则开始直接拦截标准的 HTML 请求（限制为每天每页一次）。这一现象直观反映了各公司对数据抓取和内容开放度的不同政策。
「公司和人」频道最新
- 王兴兴轶事：90后首富曾英语挂科、为做机器人延毕 — lxfater · 2026-08-19
- AI 没有让设计变便宜，而是让量产变廉价 — oykun · 2026-08-19
- ChatGPT 下周起向 31 个欧洲国家免费层推广告 — kimmonismus · 2026-08-19
- 具身 AI 催生新职业：机器人车队运营师、仿真设计师 — Scobleizer · 2026-08-19
- AI 泡沫：数学现实与资本游戏 — Complex_Commission22 · 2026-08-19
- JetBrains 发视频指 AI 编程阻碍学生成长 — paul_cal · 2026-08-19