Boson AI 发布 Higgs 实时双工模型:单个 45B MoE 同时听看说并自渲染人脸

smolix · x · 2026-11-06

Boson AI 推出 Higgs Realtime Duplex:一个 45B MoE 模型,可同时听、看、说话,自己渲染人脸,并在不打断对话的情况下思考、调用工具、把难题委托给更大的后台模型。

作者 smolix 在推文串中拆解了技术细节:

流式表示:所有流按 160ms 分块——音频输入 1 token/块,音频输出 2,视频输入约每 6 块一个 12 token 的帧,人脸输出 2 个 latent,文本双向流动,静音也是一块。约 2.6K tokens/分钟,5 分钟音视频加压缩历史只需 13-25K token。
语音与形象零样本设定:一段短参考音频 + 一张图片 + 行为文本提示即可。音频用因果 flow-matching 解码器;人脸用因果 DiT,以参考图和最近 2 个 latent 为条件,长时间会话保持稳定。
训练方式:文本 LLM 在约 2T token 的文本/音频/视频上继续预训练;后训练用 RL(GRPO)分别训练对话、时机、委托、任务完成四类专家,再 on-policy 蒸馏进一个学生模型,外加噪声模拟对话中的自我改进循环。
思考与工具调用:思考、工具调用、委托都是同一 token 流中的 span,与听说交错;工具结果分阶段到达,模型可在结果未齐时先开口;难题交给拥有完整共享上下文的更大后台模型。

「模型」频道最新