一篇博客 HTML 158KB,转 Markdown 后仅 17KB,Agent 抓取省 89%
colinmcnamara · x · 2026-10-13
开发者 Colin McNamara 实测:同一篇博文以 HTML 返回为 158 KB(导航、脚本、样式全算在内),转成 Markdown 后只有 17 KB——直接 fetch URL 的 AI Agent 一直在为多余内容买单。
他的做法:
- 每篇帖子支持 Accept: text/markdown,或在 URL 后加 .md 即得纯 Markdown 版本
- 提供 /llms.txt 作为站点地图,方便 Agent 发现内容
- 用 Cloudflare 的「Markdown for Agents」约定,但因站点托管在 Vercel,自行实现并抽出一套规则同时服务 Vercel 和 Cloudflare(146 条重定向全部匹配)
- 关键坑:必须用 redirect 而非 rewrite——Vercel 上 rewrite 拿不到预构建页面
此前他的博客已支持 A2A agent card 与 JSON-LD,这次补上了「不请自来的 Agent 直接抓 URL」这条通路。
所属事件:博客HTML转Markdown体积省近九成(2 条相关)→
「编程与Agent」频道最新
- GitHub Actions 持续缓存依赖：流水线从 20 分钟压到 3 分钟 — vboykis · 2026-10-13
- Sentry 创始人回应 vibe coding 重写论：成本全在数据库与存储 — zeeg · 2026-10-13
- 用户实测 Grok Bot 一句话搞定里斯本旅行调研与刷卡预订 — elonmusk · 2026-10-13
- GitHub Actions 缓存依赖实践:流水线从 20 分钟压到 3 分钟 — vboykis · 2026-10-13
- 月租百万美元房东倒戈:AI 智能体或五年内终结 Airbnb 抽成模式 — FinanceYF5 · 2026-10-13
- Grok Bot 自动消化 X 书签并写入 Notion 第二大脑工作流 — elonmusk · 2026-10-13