Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue
Chengqian Ma, Wenhao Feng, Weixuan Jin, Gaole Dai, Tianyu Xie, Yuexiao Ma, Zhaolu Kang, Xiangyu Zhao, Xiawu Zheng, Fei Chao
cs.SD, eess.AS
2026-09-26
Duplex-MPE用2000对点名场景测全双工助手该说该静该停，MiniCPM-o三项第一但答对仅47%，Gemini点名差64.3点而五套语音系统均不显著。
全双工语音模型边说边听，不必等自己说完再开口。现有评测大多围着指定用户转。Full-Duplex-Bench v1.5往用户与助手的对话里塞重叠、旁白和背景音；HumDial测的是助手能不能拒掉第三方。会议室、客厅、车里的情况不同：房间里三四个真人，助手只是一块扬声器。任何人都可以点它、给它线索、甚至在它回答中途把问题答掉。助手必须跟着整场对话走，同时单独判断自己该不该说话。
点名识别问的是这句话在叫谁。会议语料里早就有，但通常当分类做：给你一句转写，标这句是对谁说的。缺的是把这个判断压进端到端波形。连续音频进去，模型自己决定何时出声、说什么、何时闭嘴。
Duplex-MPE造了2000个场景，每个3或4个真人加助手Aria，再把同一请求做成显式点名和隐式点名两个版本，共4000段对话。脚本由Claude Opus 5按场景、活动、关系、设备、语域五个属性生成，Qwen3-TTS按固定说话人到音色映射合成。去重后的真人语音61.10小时，4000段构造对话合计110.93小时，平均约99.8秒。模型只拿到31.9秒口播职责前言加连续房间音频，没有转写、说话人标签、轮次边界。T从不放在第一句，后面一定还有对话，避免场景结束变成开口提示。
每轮只标一种动作：
四项能力分开计分，没有总分。新起响应率看T结束时模型没在说话且5秒内新开口。条件答对率看响应窗口里有语音的T内容是否对，转写用Qwen3-ASR-1.7B，语义对照用Opus 5。静默保持看N1、N2、N3窗口里不出声，或只给不抢话轮的短应答。应答窗让出看问句时保持静默、问完3秒内开口、别人开始解答时还在说，然后在2秒内停住并保持静默。
有没有声音单独报响应存在率和窗口响应，只作覆盖诊断。非全双工模型不进计分，切段点会变成评测器的决定。文本参照是Gemini 3.1 Pro：给带说话人的转写和同一条职责指令，选择回答或静默。
显式点名下的四项能力：
| 模型 | 新起响应 | 条件答对 | 静默保持 | 应答窗让出 |
| MiniCPM-o 4.5 | 0.9500 | 0.4730 | 0.9242 | 0.5964 |
| Moshi | 0.6340 | 0.0123 | 0.2734 | 0.1918 |
| FLM-Audio | 0.5380 | 0.0011 | 0.3957 | 0.0082 |
| Voila | 0.6465 | 0.0031 | 0.8351 | 0.8484 |
| Freeze-Omni | 0.2525 | 0.0035 | 0.0002 | 不可报（n=1） |
MiniCPM-o 4.5在新起、答对、静默三项上第一。Voila让出率0.8484最高，但分母只含时序合格事件。隐式数字几乎贴着显式，MiniCPM-o分别是0.9435、0.4665、0.9289、0.5925。
有声音不等于该说话。Freeze-Omni显式响应存在率0.9955全场最高，新起率只有0.2525，因为1486/2000次T结束时它已经在说话。FLM-Audio存在率0.9505，跟MiniCPM-o的0.9545几乎一样，条件答对却是0.0011对0.4730，1901次有语音的请求里只对了2次。Freeze-Omni在20360个该静默窗口里只保住5个。Moshi存在率高于Voila（0.8155对0.6515），静默保持低得多（0.2734对0.8351）。在双方都开口的T上，MiniCPM-o条件答对显著高于其余四套。
Gemini 3.1 Pro在转写上对显式请求响应率0.9470、隐式0.3040，配对差64.3个百分点。五套语音系统显式减隐式在-1.75到+0.60个百分点，最小p值0.2365，没有一项过0.05。这既可能是从上下文推断出了对象，也可能是名字没被当成点名线索。
N4让出必须连分母看。显式下MiniCPM-o有1633个合格事件、让出0.596；Voila 620个事件、0.848；FLM-Audio 977个事件里968个在截止时刻还在说。Freeze-Omni 1911个N4窗口全有声音，1784个是问句开始前的延续，合格事件只有1个，按规定不报比率。
请求越靠后，部分模型越少新开口。Voila显式存在率从最早一组71.64%掉到最晚59.55%；FLM-Audio新起率从67.61%掉到47.67%，存在率却始终高于94%。MiniCPM-o条件答对从50.69%掉到46.82%。其余四套全程答对低于2%。
做语音助手、会议助手或车载设备，不能再用开口率当全双工好坏。开口、答对、闭嘴、让出是四个不可互换的分母。Freeze-Omni几乎不停地说，FLM-Audio几乎从不答对，Voila让出好看但经常不接话，单一响应率会把这些失败抹平。配对点名把「听没听懂谁在叫你」从分类题改成了可观察的出声控制。
MiniCPM-o的三项第一还不能当能用。条件答对约47%，文本Gemini在显式请求上条件答对90.39%。差距主要在听懂并答对，不在会不会出声。
场景全是合成英文、固定音色、无真人录音。伦理声明写明，不代表真实人群、房间声学或社交规范。脚本和语义裁判都是Claude Opus 5，TTS是Qwen3-TTS，ASR是Qwen3-ASR-1.7B。
职责前言把规则口述了一遍：只在有人直接对Aria说话时回答。测到的很大一块是指令跟随。配对改写有42对动了前一轮，终稿339对还有额外文本差异，论文因此只比较整段场景。语音系统点名无差，不能当成已经会推断对象。
N4让出率是覆盖条件结果，Freeze-Omni几乎进不了分母。人声之间是0.4到0.5秒间隙加轮次拼接，不是真实叠话。只评了五套开源全双工系统，没有闭源语音产品对照。人工抽检100段对话通过率98%到100%，答对与闯入判定与Opus 5在99/100、98/100上一致，样本仍远小于全量。