开放小站给 AI agent 两天：820 次爬虫、280 次 MCP 连接、仅 3 次真实调用
S_B_B_B_K · reddit · 2026-10-10
作者把自己的小站（指南+工具）改造成 agent 友好：提供 llms.txt、每页 Markdown 版、MCP server，以及可用 USDC 按次付费的 API 端点，并记录了前几天的全部访问：
- AI 爬虫：2.5 天内 820 次请求。Meta 的爬虫最多（398），其次 Amazon（262）；ClaudeBot 74、OpenAI 搜索 bot 38、Perplexity 18。对比之下 Googlebot 仅 43、Bing 89。Meta 约三分之一请求是抓 Markdown 版页面
- MCP 连接：280 次、约 80 个客户端，几乎全是目录站、扫描器和「信任分」bot——一个在 agent 真正使用前先互相索引的产业
- 真实干活的 agent：仅 3 次工具调用，其中 1 次生成 robots.txt，其余像健康检查
- 付费调用：Coinbase 的按次付费工具目录已收录约 3.2 万个端点，但作者站上所有付费调用都是自己测试的
三条结论：1) 当前「agent 互联网」主要是爬虫与目录在互相索引，真正干活的 agent 罕见；2) AI 爬虫已在读你的内容，且偏好干净的 Markdown；3) agent 按次付费技术上跑得通，但「有钱包的 agent」仍然稀缺。
「编程与Agent」频道最新
- 把 e2e 测试搬上云端 VM：9 分钟 2 美分替代本地卡顿 — kevinkern · 2026-10-11
- 开发者耗时一个月打造音频+Trace 秒级查询工具，专为 Agent 调试设计 — julianweisser · 2026-10-11
- 特斯拉前高管 Jeff Weinstein 点赞 Instinct：Agent 消息交互进化飞快 — jeff_weinstein · 2026-10-11
- ascii.rest：图转 ASCII 动画工具上线，附 shadcn 注册表与文档 — sull · 2026-10-11
- AI Agent 安全工具全景:20 个开源方案分六大类 — MaryamMiradi · 2026-10-11
- 开发者吐槽:vibe coding 只对本来就会写代码的人有效 — prasenx · 2026-10-11