实时 AI Agent 该测「流畅度」:HRI 十年指标给出新答案
Stefania_druga · x · 2026-11-06
Stefanos Nikolaidis 发博主张:现有 benchmark 只测 agent 单独的表现(任务完成、准确率、延迟),但「延迟是 agent 单独的属性,流畅度是人机对的属性」。一条语音助手即使答案完全正确,用户等待时闲置刷手机、丢掉思路,这些损耗在成功率和延迟数字里完全不可见。他引入 Guy Hoffman 编制的人机交互(HRI)协作流畅度客观指标:人类闲置时间(H-IDLE)、机器人闲置时间(R-IDLE)、功能延迟(F-DEL)、并发活动(C-ACT),以及主观流畅度量表——这些按时间耦合定义的指标可直接迁移到实时 AI 协作系统的评估。
「编程与Agent」频道最新
- Hermes Agent v0.23.0 详解:1950 个 PR 后统一 gateway 与群聊路由 — NousResearch · 2026-11-06
- Nous Research 发布 Hermes Agent v0.23.0:桌面端搬进浏览器标签页 — NousResearch · 2026-11-06
- Comet Opik 推出对话式生成仪表盘,自然语言自动生图表 — dl_weekly · 2026-11-06
- 把所有 agent 的待决策问题汇总成一页,按优先级批量拍板 — kevinkern · 2026-11-06
- AWS WAF 支持向 AI 爬虫收流量费,稳定币结算直达 Stripe — jeff_weinstein · 2026-11-06
- Ripple-65B 单卡实测不敌 Qwen 27B:自称 SOTA 却需人工 3 行补丁救场 — DZhang50 · 2026-11-06