Gander开源:全双工语音对话+可插拔Agent后脑,边聊天边干活
面壁智能 · wechat · 2026-09-17
浙大 DCD 实验室季圣鹏(WavTokenizer 作者)等外部研究者基于面壁 MiniCPM-o4.5 后训练,开源了端到端全模态交互智能体 Gander,论文、数据、代码、模型全部开源。
- 前脑—后脑架构:前脑是基于 MiniCPM-o4.5 的实时全双工全模态模型,负责对话与判断何时交给后脑;后脑是无需训练、即插即用的任务智能体(默认 Codex,可换 Claude Code),通过 taskstart/tasksend/taskresolve 三个 toolcall 触发与控制。
- 流式块扁平化:把「何时听、说、打断、调工具」做成模型逐秒预测的控制 token,替代外挂 VAD,128 块约两分钟滑动上下文,支持附和、主动交互、抗干扰、多人对话。
- 数据与效果:训练语料约 270 万条,全双工子集 26 万段;Full-Duplex-Bench v3 上适时接话率 100%,抢话率仅 8%(GPT-Realtime 为 13.5%)。
- 诚实短板:任务 Pass@1 为 0.400,落后商业系统;但绕过语音通道直驱后脑可达 0.520,工具选择准确率 0.934 超过所有对比系统,说明瓶颈在语音转写与任务路由配方。
这套「实时对话作 Agent 前台、可替换执行器作后脑」的架构,为端侧全模态智能体提供了新范式。
「编程与Agent」频道最新
- TypeSafe Jev 实测:让 Grok Build 同任务成本降 22-40% — Daniel_Farinax · 2026-09-21
- jev-skill-suggester:用前置技能路由解决 Agent 调错工具问题 — udmrzn · 2026-09-21
- OpenClaw 推出 FaceTime 插件:你的 agent 能主动打电话给你 — steipete · 2026-09-21
- 花 3 天逆向 Instinct 记忆机制:极简设计,60 行代码可复刻 — julianweisser · 2026-09-21
- 实测 3 周日志:40% 编码 Agent 输入是无效开销 — Lucky-Group9525 · 2026-09-21
- Humanizer Academic 更新:一个文件去掉医学论文的 AI 味 — udmrzn · 2026-09-21