改 3 个词系统提示词,2/4 确定性评估器翻车:Agent 行为漂移检测方案
bibryam · x · 2026-10-09
CloudAura 博客探讨 LLM Agent 在生产中的行为漂移问题:只在 agent 系统提示词的一个 YAML 字段里改了 3 个词,HTTP 仍返回 200、延迟不变,但 4 个确定性评估器中 2 个从 PASS 翻成 FAIL,SRE 仪表盘完全无法捕获。
核心论点
- 只 hash 配置并告警不够,关键在于 hash 什么、以及如何判断"线上 agent 还是不是你部署的那个 agent"。
- 提出 Profile + 分层 Fingerprint 两个工件:Profile 是针对基线配置持续运行的确定性评估序列,用于发现行为漂移;Fingerprint 用于在配置(如上游 MCP server 升级)变化时触发重新评估。
- 实验基于 kagent 部署,用 agentevals 作为评估后端,自写确定性 Python 评估器,不引入 LLM judge。
- 引用 Anthropic 2026 年 4 月的 postmortem:三个独立基础设施 bug 让 Claude 响应降级数周,说明连 Anthropic 都需要长时间事故才能定位,普通团队更脆弱。
「编程与Agent」频道最新
- Codex 把模糊指令变成真实扣费:已绑卡时唯一刹车是确认弹窗 — CurieuxExplorer · 2026-10-09
- 用 LLM 在 Obsidian 造活百科：AI 策展人帮你建知识库 — dSebastien · 2026-10-09
- readdown-mcp:把网页转成省 token 的 LLM 优化 Markdown — modelcontextprotocol · 2026-10-09
- MCP 原生 API 市场:用 USDC 积分发现并付费调用 API — modelcontextprotocol · 2026-10-09
- 验证码成浏览器 Agent 短板:OTP 30 秒就过期 — sujingshen · 2026-10-09
- PiChat：住进 iPhone 的自主智能体，断点续跑不丢进度 — aigclink · 2026-10-09