改一行 prompt 让客服 Agent 安全分 +17、任务完成率 -17
AI Engineer · youtube · 2026-10-25
Arize AI 前置部署工程师 Sofia Jakovcevic 在 AI Engineer 演讲:客服 agent 的一行 prompt 修改让安全分提升 17 点、任务完成率同降 17 点,说明 agent 的失败发生在运行时而非代码里。她给出基于生产 trace 的五步回归闭环:
- 从生产 trace 策划数据集
- 用 evaluator 打分
- 跑基线实验
- 对比变更
- 在 CI 中门控合并
最后演示如何让 coding agent 读取 trace 自行修复,把回归闭环提速到 agent 速度。
「编程与Agent」频道最新
- LangChain 创始人 Chase 回应 OpenClaw 对标提问：面向企业的版本在做，可申请 early access — hwchase17 · 2026-10-25
- 48 门「Agent 专用编程语言」编目上线：句法、验证、编排三派之争 — QuixiAI · 2026-10-25
- MCP Sage 让 Gemini 2.5 Pro 当代码二审，嵌入文件吃下大型代码库 — modelcontextprotocol · 2026-10-25
- LangChain 创始人：图表、视频、PPT 已全部由 AI 工具制作 — hwchase17 · 2026-10-25
- 微软开源 Skill Recorder：录一遍你的操作，Agent 就能学会代办 — udmrzn · 2026-10-25
- Warp CEO 谈 AI 原生产品：从税务合规起一切任务交由 Agent 执行 — rohanpaul_ai · 2026-10-25