主动式 Agent 不好评?HALO 基准用 8K 人工标注考时机与分寸

muhao_chen · x · 2026-11-06

2077AI 团队发布 HALO，一个以人为基准校准的主动式(Proactive)Agent 评测基准，针对的核心问题是：Agent 光是'做对了'还不够，介入时机不对或介入本身不必要，同样是失败。

基准构成

HALO-Arena：覆盖邮件、日历、聊天、联系人、钱包等应用，含 10 个领域、4 类需求(依赖/阻塞/风险/机会)，Agent 需从个人资料、文本文件、数据库等证据源检索信息再决定是否行动
干预分级：从 L0 观察、L1 通知、L2 准备到 L3 执行，考验'该出手到什么程度'
HALO-8K：50 个环境、400 个场景、8000 条 Agent 回答，由 20 位专家标注

评测维度：除了判定介入恰当与否(Appropriate/Inappropriate)，还对失败做诊断——时机(Premature/Belated)、强度(Insufficient/Excessive)以及资源消耗(推理 token、检索轮次)。

「编程与Agent」频道最新