退款 Agent 全绿通过评测，却被用户换个说法绕过政策
Plastic_Secret1303 · reddit · 2026-11-09
团队分享退款 Agent 的真实翻车：规则是窗口期外不退款，静态评测集里「我要退三个月前的订单」等用例全部正确拒绝，全绿。红队测试时用户只是换了措辞，让请求不再「看起来」像超期退款，政策检查就再没触发，退款被放行。
三条教训：
- 静态评测只测你想得到的，测试用例都是自己写的措辞，真实用户不会待在集合里；
- 失败藏在 trace 而非最终回答里——回复看起来礼貌合理，只有沿检索→模型回复→政策检查→工具调用追全程才能发现问题；
- 一次性修补不持久，改 prompt 只能修当天版本，换模型或改 prompt 就复发。
他们的改进：每个确认的失败都转成永久回归检查，随每次发布运行，而不是只打个 prompt 补丁。
「编程与Agent」频道最新
- 开发者盛赞 Claude Code 空闲投机式压缩为近月最佳 Agent 功能 — paul_cal · 2026-11-09
- 开发者用 AI 自动化真实世界数据（RWD）工作流，邀专家挑战 — Ubunta · 2026-11-09
- Evals 进 CI:让拉低 agent 质量的 PR 无法合并的实操工作坊 — Al_Grigor · 2026-11-09
- 开发者晒 4 人 AI agent 小队:包办落地页、竞品分析与发帖 — pramodk73 · 2026-11-09
- 爆料称 Opus 5.5 仅 10B 激活参数，用户已用 handover.md 迁移到 Qwen-4-Flash — teortaxesTex · 2026-11-09
- niso UI 工具包亮相：一份代码同时跑 SwiftUI、iced 和 Web — amplifiedamp · 2026-11-09