RealCLI 基准发布:22 个子维度统一评测 CLI Agent 与人机协作质量
IQuestLab · hf · 2026-10-29
北航、人大与 IQuest Research 联合发布 RealCLI 基准(arXiv 15 Oct 2026),首个统一评测 CLI Agent 任务执行与人机协作质量的成对基准:
- 框架:五维框架,细化为 22 个子维度、51 个交互场景模板,聚焦真实 CLI 任务
- 双模式成对对比:REALCLI-EXEC 提供完整规格一次执行;REALCLI-COLLAB 引入脚本化用户,在执行中渐进给出信息、纠错、修改约束与授权决策
- 发现:现有主流模型在可引导性(steerability)、信任校准与安全管理上存在明显短板
现有基准大多假设用户指令一次性给全,或只看任务结果不衡量协作过程,RealCLI 补上了这一缺口。代码与数据已上 GitHub 和 Hugging Face。
「编程与Agent」频道最新
- 用 Claude 把旧小米手机改造成纯离线 MP3 播放器 — PeanutGrinderZ_2091 · 2026-10-29
- 10 个开源仓库给编码 Agent 画代码地图:知识图谱+语义搜索 — victor_explore · 2026-10-29
- Snaptrude 发布建筑设计 Agent:可从地块做到施工级 LOD 400 模型 — EXM7777 · 2026-10-29
- DecisionRAG 用决策模型替代检索器，超越 8B reranker 13.8 个点 — omarsar0 · 2026-10-29
- 博主实测 Claude 驱动 Remotion:5 分钟把图表 Logo 变动画视频 — TawohAwa · 2026-10-29
- Meta Muse 生态上线 1Password for Agents，AI 智能体有了专属密码管理 — xeophon · 2026-10-29