Omni Interaction Agent Technical Report
Orantqing, Shengpeng Ji, Junlong Tong, Jialong Zuo, Dongjie Fu, Di Cao, Yangzhuo Li, Shangda Wu, Franz, Evan, Theron Veyra, Changhao Pan, Jingyu Lu, Dongchao Yang, Zhifei Xie, Yang Tan, Xiaoyu Shen, Xiaoda Yang, Wenfu Wang, Teddysun, Steveyves, Zhou Zhao, Bryanytian
eess.AS, cs.AI, cs.LG, cs.MM, cs.SD
2026-09-09
腾讯 Gander 用 9B 小脑做全双工视听对话，长程任务交给免训练 Codex 大脑。接话 100%、打断率 8%，Pass@1 仅 0.400，低于 GPT-Realtime，相对初始化模型还退六分。
语音和 omni 模型多半还是一轮一答：外部 VAD 切完用户这句话，模型再开口。真人对话不是这样。人会抢话、会「嗯嗯」垫一句、会在噪声和多人里判断该不该接，也会一边聊一边让对方改正在跑的任务。把交互时机交给外挂模块，模型自己学不到这些判断；把低延迟闲聊和长程写代码塞进同一个大模型，响应和智力又互相拖后腿。
Gander 是腾讯混元语音团队的技术报告，想把全双工视听对话和 agent 工作流收进一套系统。对外交互要快，背后任务可以慢，两套节奏拆开。
前台叫小脑，9B，从 MiniCPM-o 4.5 的 Thinker-Talker 改来。视觉走 SigLIP，每帧压到最多 448×448，相对原始 patch 大约 16 倍压缩；音频先到约 50 帧/秒，MLP 再 5 倍下采样，大约 10 个 token/秒。时间轴切成 1 秒一块，每一块拼上当前视听 token、一个控制 token、以及模型决定吐出的文本。控制 token 三选一：听、说、打断。上下文固定 128 块，大约两分钟滑窗。语音不由 LLM 直接吐声学单位，而是隐藏态进一个小的 speech token 解码器，再流式 flow matching 出波形，音色跟系统提示里的参考音频走。
后台叫大脑，免训练，默认接 Codex，评测里用 GPT-5.6。小脑用 taskstart / tasksend / taskresolve 把任务交出去，中间的 runtime 管流、权限和投递。大脑拿的是转写文本加相关视频末帧，不是原始多模态流。训练语料约 270 万条：语音交互约 37%，视听交互约 41%，agent 交互约 13%，剩下是噪声、多人、该闭嘴的负例。
Full-Duplex-Bench v3（100 个场景）上，Gander 接话率 100%，过早开口 8.0%，优于 GPT-Realtime 的 13.5% 和级联管线的 33.0%。任务侧落后：Pass@1 0.400，对 GPT-Realtime 的 0.600；ToolSel 0.759、ArgAcc 0.503，略低于 Ultravox 的 0.794 / 0.513。只跑大脑、走文本时 Pass@1 到 0.520，ToolSel 0.934，说明执行层不是瓶颈，语音前台才是。Filler 率 51.6%，论文解释成任务交给大脑时必须占住话轮。
SpokenQA 上 Llama Questions 75.60、Web Questions 59.30，全双工组里高于 Audio-Interaction 的 67.31 / 54.34。WorldSense 49.62、Daily-Omni 78.53，相对初始化模型 MiniCPM-o 4.5 的 55.70 / 80.20 是退步。音视频一起比单模态总体高 8.88 分。
产品形态接近「语音 GPT 加后台 Codex」：闲聊不升级，长任务才升级。9B 前台在接话和打断上已经能跟商业全双工系统比，说明交互状态可以当自回归目标来学，不必绑死 VAD。开源权重和代码，工业侧还指向更大的 Hy-Realtime。
任务精度明确落后，Full-Duplex-Bench 的 Pass@1 只有最弱基线附近。WorldSense 相对底座掉了 6 分，交互训练伤了静态 omni 理解。大脑只吃 ASR 文本和末帧，用户改口、指着画面说「这个」时，后台拿到的信息可能已经错位。作者自己写了：还没做 on-policy 蒸馏和 RL，奖励和归因都没设计完；两脑之间也还没有结构化回传。Filler 过半到底是占话轮策略还是不会停，没有单独消融。