TIME 独家：向 AI 爬虫推送含广告的极简版网页
bibryam · x · 2026-09-02
TIME 杂志被发现针对不同 User-Agent 返回不同版本的网页内容。普通浏览器访问会返回约 300KB 的完整 HTML 页面，而 ClaudeBot、PerplexityBot 和 OpenAI 的搜索爬虫会收到仅 13KB 的纯 Markdown 文本，且内容中嵌入了由广告技术供应商 Mobian 提供的广告代码。OpenAI 的 GPTBot 和 ChatGPT-User 则被直接 406 拦截。这表明 TIME 正在执行差异化的爬虫策略，专门为 AI 索引构建了一套不可见但含广告的数据流。
「应用」频道最新
- 开源工具 OpenShorts 免费平替 Opus Clip 等付费切片应用 — aigleeson · 2026-09-02
- The Influencer AI：可生成一致性虚拟网红 — jonathan_wilke · 2026-09-02
- 开发者打造本地语义文件搜索工具 FileSeek — revived_soul_37 · 2026-09-02
- 整理7个功能强大的AI开源项目：从Agent上下文到自托管UI — Shruti_0810 · 2026-09-02
- Fable 5.1 被赞像真人联合创始人 — MattGarciaEth · 2026-09-02
- Fable Studio 5.1 发布：移除争议性数据保留政策 — Stratechery · 2026-09-02