ASU 发布 τ-Emotion-Bench:用户情绪波动暴露 LLM 智能体交互脆弱性
Arizona-State-University · hf · 2026-10-15
- 动机：长程工具调用任务中，agent 失败不仅源于工具错误，也源于与用户的低效交互；现有基准多假设用户合作且行为稳定，忽略情绪变化的影响。
- 基准：τ-Emotion-Bench 覆盖十个领域，在保持任务目标的前提下，用受控的情绪条件化用户交互评测工具调用 agent。
- Tracer 管线：可扩展的 agentic 数据生成管线，构建有据可依、符合策略的任务，通过 agent-用户-环境交互框架收集轨迹；允许不满用户终止低效交互，从而过滤过度依赖用户的轨迹、偏好有效工具使用。
- 发现与效果：两个用户模拟器实验显示前沿 agent 仍不可靠，平均任务成功率与稳定完成任务间差距明显；Tracer 生成的监督数据持续提升各规模 Qwen3 模型，可泛化到未见领域并迁移至 τ-Bench 与 τ-Trait；行为分析表明更高成功率对应工具执行与必要用户追问之间更好的平衡。
「编程与Agent」频道最新
- 普林斯顿发布 SWEeper-Bench:最强 Agent 也只能解 59% 的交互式 bug — zlab-princeton · 2026-10-15
- 用户把 Google 登录和短信 2FA 交给 AI agent，引发安全争议 — jonstephens85 · 2026-10-15
- Grok Bot 自建 Apple Desk 技能打通 Mac 原生应用，马斯克转发 — elonmusk · 2026-10-15
- Thorsten Ball:新模型指令跟随太强,编程工具的上下文管理技巧已过时 — andreisavu · 2026-10-15
- 韩国用户实测 Grok Bot:十天工作量两小时完成 — elonmusk · 2026-10-15
- PersonalAgentEval 发布:7 款个人 Agent 实测仅两家领先 — HennyJieCC · 2026-10-15