开发者开源 AEO 审计引擎：排查 AI 爬虫抓取阻断
goldlionroar · reddit · 2026-08-05
一位独立开发者开源了其用于 AEO（AI 引擎优化）的审计引擎，帮助网站排查大模型爬虫的抓取问题。
核心痛点与功能：
- 开发者发现，很多网站的 robots.txt 看似正常，但 CDN 实际上却在拦截 GPTBot 等爬虫并返回 403 错误。
- 该开源工具（MIT 协议）通过模拟 GPTBot、ClaudeBot 等 9 种主流 AI 爬虫真实抓取页面，对 5 个检索门控和 8 项标题检查进行评分，并直接生成修复文件。
- 支持作为 MCP 服务器集成到 Claude Code 或 Cursor 中，让 Agent 自动修复代码库。
商业应用启发：
对于想接单的独立开发者，在发冷邮件（Cold email）前先给潜在客户跑一次这个审计，比单纯发没有案例的推介更有效，是极佳的获客破冰手段。
「编程与Agent」频道最新
- 等模型迭代半年，独立开发者用 Claude 一天写完 App — airkatakana · 2026-08-05
- 探讨 cmux 多列侧边栏设计：机器、工作区与 Agent 编排 — philipvollet · 2026-08-05
- 国产模型包揽预测榜单前三，AI 预测智能体实测 — teortaxesTex · 2026-08-05
- eidoverse-worlds：人与AI共享持久3D世界的开源平台 — repligate · 2026-08-05
- 首个 AI Agent 审计规范 AARM 发布，9 大属性对抗记忆投毒 — Funky_Chicken_22 · 2026-08-05
- 什么是“软件工厂”？AI 智能体重塑现代软件开发周期 — Pavan_Belagatti · 2026-08-05