0.6B 小模型配大模型小抄,ConvFill 让语音 Agent 又快又聪明

futterneid · reddit · 2026-10-26

华盛顿大学 UbiComp 实验室学生开发的 ConvFill 提出解决语音 agent "快与聪明不可兼得"的方案:训练一个 0.6B 的 talker 小模型,配一个大 reasoner 模型当"耳内专家"。用户语音转写后,talker 先快速搭话拖延时间,reasoner 在后台思考出合适回复,再由 talker 念出来继续对话。作者体验后认为思路成立、方向很有前景,但 talker 还需更聪明才能达到丝滑效果。团队本周在 EMNLP 展示该论文,作者联系他们合作在 Hugging Face 上线了 demo(配图显示 demo 用 ConvFill Talker + Gemma 4 31B reasoner + Phonon 31M TTS + Qwen3-ASR 1.7B STT 构建),可在线试玩。