实测 AI Agent 被反爬拦截：5 个公开网站打不开 3 个
eyishazyer · x · 2026-11-07
eyishazyer 做了一组对照测试，揭示 AI agent 的一个隐蔽短板：你能正常打开的公开网页，你的 agent 未必打得开。
测试设置：同一台笔记本、同一天、同一 prompt，4 个公开页面（Zillow、Indeed、Reddit、Python 文档）：
- Agent A：Claude Code 默认 web 工具（无浏览器）——5 个站点中 3 个被拒之门外（Zillow、Indeed、Reddit）。
- Agent B：同一 agent 接入 Oxylabs Web API——页面可正常抓取。
结论：默认 web 工具常被反爬机制拦截，agent 需要接入网页抓取 API 才能稳定访问公开站点。注意该帖带有 Oxylabs 推广性质，结论方向可参考，工具选型需自行验证。
所属事件:实测显示 AI Agent 访问公开网站常被反爬拦截(2 条相关)→
「编程与Agent」频道最新
- 开发者按任务分层用模型:网页检索用 Haiku,编码与审查留给 Opus/Sonnet — 4310sy · 2026-11-07
- AI 编程 CAM 工具 Steve Studio 即将集成 Camlib,可自动拒绝危险 G-code — Kyrannio · 2026-11-07
- Springrod 力推「Code mode」:LLM 该写程序而非逐个调用工具 — springrod · 2026-11-07
- 网友把 Codex 变成远程 DJ：Computer Use 控 studio，MCP 接自制 VST3 — Yamapama · 2026-11-07
- 厂商倒闭thermal打印机成砖三年,AI agent 20 分钟写驱动救活 — billyjhowell · 2026-11-07
- macOS CI 每分钟 $0.16，一台 Mac Mini 10 天回本：CI 定价或暴跌 50% — gajesh · 2026-11-07