实测显示 AI Agent 访问公开网站常被反爬拦截

有开发者做了一组对照实验：在同一台电脑、同一天、使用同一 prompt 的条件下，让 Claude Code（默认 web 工具）访问 5 个公开页面，结果 Zillow、Indeed、Reddit 等 3 个网站均被反爬机制拦截而无法打开。实验揭示 AI agent 的一个隐蔽短板：人类能正常访问的公开网页，agent 未必打得开。而接入爬虫 API 后，3 个被拦截的页面全部访问成功。

2026-11-07 ~ 2026-11-07 · 2 条相关