阿里 HICO-Bench:36% 高评分对话经不起可行性验证

Tongyi-ConvAI · hf · 2026-10-15

阿里巴巴 Token Hub 与东京大学团队研究「社交型智能体的对话是否有效」,提出 HICO-Bench:180 个日常协调场景(资源分配、日程、授权),两个各持私有信息的智能体对话后独立记录达成计划,由程序检查可行性(双方记录一致且满足各自私有条件)、LLM judge 检查完整性,双过才算 Verified Success。

评测发现:13 个 LLM 中,36% 被评为高目标完成度的对话实际通不过验证。为利用只在对话结束时到达的结果信号,作者提出 PaCPO(Paired-Credit Policy Optimization):每轮让智能体给出临时计划并在成对场景两个版本中校验,奖励使临时计划符合各自版本的轮次,将 Qwen3-8B 的 Verified Success 从 20.4% 提升到 28.3%。