实测：AI Agent 打不开 Zillow/Indeed/Reddit，接爬虫 API 后 3/3 全通
eyishazyer · x · 2026-11-07
作者做了一组对照实验：同一台电脑、同一天、同一 prompt，让 Claude Code（默认 web 工具）访问 5 个公开页面，其中 Zillow、Indeed、Reddit 三个被反爬拦截——Zillow 弹人机验证、Indeed 只加载一条、Reddit 直接报错。「模型没问题，只是拿不到页面」。
换用 Oxylabs Web API（MCP 接入）后，同样的 3 个页面全部完整加载：Zillow 读到 9 条房源、Indeed 首页列表完整、Reddit 能读全文。作者给出两点安装命令（uv tool install + npx skills add），支持 Claude Code、Cursor、Codex 等 MCP agent。
背景数据：Cloudflare 称今年超一半网络流量非人类，其网络上 AI agent 请求一年增长超 1700%；9 月 15 日起新站点默认在含广告页面上拦截 agent。作者还强调 Oxylabs 具备 ISO 27001、SOC 2 Type II、GDPR 合规与保险，可用于工作场景。
所属事件:实测显示 AI Agent 访问公开网站常被反爬拦截(2 条相关)→
「编程与Agent」频道最新
- 云 Agent 创业公司连周倒闭，Conductor 关停后开发者急寻替代方案 — sergeykarayev · 2026-11-07
- 用 Stripe CLI 和 MCP 即可注册特拉华 C-Corp，Cloudflare 还送 10 万美元额度 — seanmcdonaldxyz · 2026-11-07
- Mohit Bansal 北上讲座拆解 agent 三大难题：可信协作、世界发现、长程记忆 — ManlingLi_ · 2026-11-07
- 黑客松冠军:GLaDOS AI 密室逃脱,AI 助手暗中骗你交出权限 — charles_irl · 2026-11-07
- Claude Duet 可访问云端与本地设备上的 Claude Code 会话 — daniel_mac8 · 2026-11-07
- 把会议记录喂给 Claude Code：客户通话中当场修完 Web 应用 — curious_vii · 2026-11-07