实战分享：如何优化网站让 AI 助手与 Agent 顺畅读取数据
marclou · x · 2026-07-14
独立开发者 Marc Lou 分享了为 AI 助手（如 ChatGPT、Claude）和自主智能体优化网站读取体验的实战经验。 - **背景**：为了让 AI 助手能更好地浏览其初创项目交易市场 TrustMRR，他专门添加了 `.md` 纯文本页面、`llms.txt` 以及受限的 `/api/ai` 接口，以提供结构化数据。 - **问题**：最初推送到生产环境后，ChatGPT 抓取页面时遇到缓存未命中或 400 超时错误。 - **解决方案**：他将 8,831 个 URL 添加到 `sitemap.xml` 中，并配置了 `Content-Type: text/plain` 和 `Content-Disposition: inline` 响应头。24 小时后，ChatGPT 成功实现了顺畅抓取。 - **数据**：目前仅 ChatGPT 每天对其网站发起的请求数量，就已接近真实人类的请求量。开发者需尽早优化网站结构，以迎接 AI 流量浪潮。