实测证实 AI 助手 Instinct 经 Exa 抓取网页，请求带签名可溯源
gaganghotra_ · x · 2026-10-17
一项独立实测证实：AI 助手 Instinct 使用 Exa 作为网页搜索/抓取后端。测试者在自己管理的网站上放置不存在的 URL，因请求针对假页面且时间与其和 Instinct 的对话吻合，可确认请求来源——90 分钟内共约 12 次请求。
关键发现（来自 Cloudflare 分析与原始日志）：
- 每次直接抓取的 User Agent 为 Mozilla/5.0 (compatible; ExaUser/1.0)，且每次来自不同 IP
- Exa 的 ExaUser 抓取器为每个请求附加 Web Bot Auth（RFC 9421）签名，可在 Cloudflare、Akamai 等处自动验证
- 官方文档称 ExaUser 仅按需抓取用户请求的页面（不用于自动爬取，robots.txt 可能不适用），只访问公开内容、不绕过登录/付费墙/CAPTCHA
「编程与Agent」频道最新
- StackOne 推出 MCP 工具调用策略引擎，可按金额/PII 细粒度管控 agent 权限 — afp-media · 2026-10-17
- Huntley：被 AI 取代的开发者，是没通过「好奇心测试」 — rseroter · 2026-10-17
- 写好 agent 提示词的最佳前置经验可能是教学:一眼看出平庸作品差在哪 — sh_reya · 2026-10-17
- RAX 全量开源：零演示数据，连失败实验都放出来了 — du_yilun · 2026-10-17
- RAX 架构：前端编码智能体与机器人物理栈分离，天然多本体 — du_yilun · 2026-10-17
- shadcn 感叹：Claude Skills 发布至今仅一年 — shadcn · 2026-10-17