JEV 实测：证据不足时 IDK 选项 80 次全败
iamrobotbear · x · 2026-09-21
- 作者复现了他人对 JEV 的评测，聚焦"发给 JEV 的 state 是否包含足够决策相关证据"这一问题。
- 实验一：state+意图问题，证据模糊时选项顺序主导结果，因为两个选项都被支持、无信号区分主次。
- 实验二：加入 IDK 选项后无明显改善，因"哪个意图优先"与"证据是否充分"两个问题被混进一个选择，IDK 80 次运行 0 次胜出。
- 实验三：单独问"state 证据是否充分"，JEV 给出约 38.75%-38.95% 的概率判断，提示应把充分性判断拆成独立提问。
「编程与Agent」频道最新
- Ruff 作者自述：2025 年 12 月才开始真正用 Agent，距今不到一年 — charliermarsh · 2026-09-21
- 开源 LLaMA-Factory 支持 100+ 模型微调，200 条数据可胜大模型 — Roger_M_Taylor · 2026-09-21
- SWE-2 限时免费开放至 10 月 8 日,覆盖 Devin 全系产品 — silasalberti · 2026-09-21
- Delta 与 OpenTable 封禁 AI 代理下单,用户抱怨「这是未来」 — Scobleizer · 2026-09-21
- ForgePoint Signal:MCP 原生的美国遗产税法规每日监控服务 — modelcontextprotocol · 2026-09-21
- Memory MCP 开源:给 AI 助手装上 Turso 驱动的持久语义记忆 — modelcontextprotocol · 2026-09-21