MCPJam:先测你的 MCP 服务器是否守规,再谈 agent eval
Paoli99 · reddit · 2026-11-19
MCPJam 员工分享了测试 MCP 服务器协议符合性(conformance)的实用思路:
- 核心测试:向服务器发送不存在的方法,正确行为是返回 JSON-RPC 错误码 -32601(Method not found);如果返回成功响应,这种问题靠「列出工具正常调用」永远发现不了。
- 其他值得检查的场景:调用不存在的工具、请求不存在的资源、请求不符合工具 input schema、请求服务器未声明的能力。不同情况的错误处理方式应当不同,返回错误只是一部分,怎么返回同样重要。
- 一致性测试:针对特定协议版本检查这些行为;失败时对照「发出的请求、服务器实际返回、检查预期」三者定位问题。可用 MCPJam 的 SDK 或 CLI 从仓库里跑。
- 边界:conformance 只覆盖协议行为;agent 是否选对工具、答对问题属于 eval 的范畴——先确认服务器守规,再测 agent 用得对不对。
作者还附了一个用 MCPJam 跑一致性检查并解读结果的视频教程。
「编程与Agent」频道最新
- 花式 vibe coding 破圈:财经博主小lin说也来科普了 — AlchainHust · 2026-11-19
- 用 AI Agent 逆向显示器固件,两天修好 Dell 6K 显示器灯闪bug — davidcrawshaw · 2026-11-19
- 开发者 Thariq 用 AI 做游戏:8-10 个角色、拒绝全外包给 AI — FinanceYF5 · 2026-11-19
- 用 Antigravity 机器人插件+提示词,人人可造 MuJoCo 仿真任务 — DynamicWebPaige · 2026-11-19
- tla-kit:把 TLA+ 全套验证工具装进一个可复现容器,附 14 个工具的 MCP server — Scottie-2222 · 2026-11-19
- 五步用 AI 写作仍保住个人声音,对抗创作同质化 — EXM7777 · 2026-11-19