Jarvis Bench 把语音评测拆成两问：真人盲测揭示模型自然度短板
rohanpaul_ai · x · 2026-09-15
VoiceArena 发布对话式语音 Agent 基准 Jarvis Bench v0.5，试图回答一个疑问：为什么语音 Agent 演示惊艳、基准分数接近满分，但现实中很少有人真正与语音 Agent 对话。
其设计核心：
- 由真人与语音 Agent 实时对话，而非离线评测；
- 第二组真人盲测两两投票，分别回答「哪个更像人（Naturalness）」和「哪个把事办成了（Task Completion）」；
- 排行榜里混入了一名真人作为隐藏对照。
@rohanpaulai 点评这一拆分设计：在任务完成度上人类与模型已相当接近，但在自然度上差距仍然明显——同一个数字背后的含义因拆分而完全不同。
所属事件:VoiceArena 发布语音 Agent 基准 Jarvis Bench(2 条相关)→
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02