Duplex-MPE 基准测 AI 何时该开口:MiniCPM-o 4.5 三项领先
PKU · hf · 2026-09-29
北大等发布 Duplex-MPE，填补全双工语音模型在多方对话场景的评测空白——现有基准多关注轮次切换和打断，但很少评测“助手参与多人共聊”时该何时回答、沉默或停止说话。
基准设计：2,000 个含 3-4 名人类说话者 + 1 个助手的场景，同一请求分显式与隐式呼制成对；模型接收连续音频，无转写、无轮次边界；四项分数衡量主动应答、答案准确性、保持沉默、在人类解决请求时停止。
评测结果：五个开源语音系统中，MiniCPM-o 4.5 在三项能力领先；其他系统频繁插话常伴随答错或该沉默时开口。作为参照的转写版 Gemini 3.1 Pro 对显式请求的应答率比隐式请求高 64.3 个百分点，而语音系统未检测到显著的应答率差异——说明现有全双工模型尚未学会分辨是否在被叫到。
「模型」频道最新
- 曝 OpenAI「dot」设备新细节:举到耳边即可对话 ChatGPT 语音 — koltregaskes · 2026-09-29
- Google 将于 11 月 17 日用 Skills 取代 Gemini Gems — mark_k · 2026-09-29
- 开源工具 Carla：本地跑 llama.cpp 造「AI 角色」的织机实验室 — max_paperclips · 2026-09-29
- 爆料称 OpenAI DevDay 新品是 Grok 机器人与 Meta Muse 的翻版 — gaganghotra_ · 2026-09-29
- 高帧率运行让 Jev 成为真正的 System 1:每次点击都传完整状态 — mathemagic1an · 2026-09-29
- 爆料称 OpenAI 新模型命名候选流出:Dots、Orbit、o — mark_k · 2026-09-29