为什么 agent skills 会失效，如何做评测
_philschmid · x · 2026-07-20
philschmid 在 aiDotEngineer World’s Fair 的分享，重点讨论了为什么“凭感觉”检查 agent skills 在生产环境里容易失效，以及如何建立更可靠的自动化评测。
要点包括：
- skill 描述如果过于模糊，容易在无关提示词上被“关键词劫持”；加入负例测试可以显著降低这类失败。
- 过长的 skill 文件会伤害模型推理，500 行以上尤其明显。
- 可以用简单的正则断言，在 10 到 20 条生产提示词上快速验证结果。
- 通过对照实验（有 skill / 无 skill）判断模型是否已经足够强，从而决定何时可以下线某个 skill。
所属事件:生产环境中Agent Skills失效与评测(2 条相关)→
「编程与Agent」频道最新
- 5 小时限制临时取消后，coding agents 使用压力明显下降 — iamrobotbear · 2026-07-21
- OpenAI 伦敦 Codex 活动挤满开发者，现场一天交付项目 — paw_lean · 2026-07-21
- TWSE MCP Server 把台股数据接进自然语言工作流 — modelcontextprotocol · 2026-07-21
- 让 agent 真正执行动作，最难的可能是权限、审批和失败处理 — marcelk231 · 2026-07-21
- 业务聊天机器人只有依赖内部文档时才该上 RAG — recro69 · 2026-07-21
- 一家隐私邮件服务商在为 AI agent 做邮件，已积累 2000 个账号 — Atomic_Ke · 2026-07-21