48 个 Agent 会话中揪出 8 个幻觉退款时限,jev 评委实测
strickvl · x · 2026-09-24
strickvl 担心 jev 评委只是在机械匹配数字，于是逐字段修改会话做对照测试：来自政策工具的「30 天」能通过，而客服向客户承诺「30 天」退款则被判失败——尽管工具结果里同样有 30（那是退货窗口，不是退款时限），说明评委确实读懂了语义。
实际跑下来，jev 对时间线问题给出 p(yes)=0.93；在从 tracing provider 导入的 48 个会话中，发现 8 个包含幻觉退款时限的会话，人工复核很容易确认。
所属事件:实测 jev 评委：48 个会话揪出 8 个幻觉退款时限(2 条相关)→
「编程与Agent」频道最新
- Agent Skills 实用指南:何时该用、如何创建与最佳场景 — rseroter · 2026-09-24
- Agent 会话迁出沙盒后内存降至 0.8MB,Rivet 实测数据公开 — mitsuhiko · 2026-09-24
- 开源 sys1 用 Rust 实现 System 1 决策 API，RTX 上仅 14ms — IgorCarron · 2026-09-24
- 开发者实测 Opus 5.5：更快、代码更精简、更可靠 — dumay_sacha · 2026-09-24
- MCP Inspector：交互式调试 MCP 服务器的实用工具入门 — KhuyenTran16 · 2026-09-24
- 终端 Agent 里最被低估的能力是「标注」：精确指定改哪、怎么改 — perilli · 2026-09-24