HelixWorld 1.0：首个可交互音视频世界模型发布
量子位 · wechat · 2026-08-17
NoizAI 联合多所高校发布 HelixWorld 1.0，这是首个支持实时可交互的音视频世界模型。用户输入图片和提示词，即可通过控制视角实时生成画面与声音，模型支持 24FPS 视频和 48kHz 双声道音频。其核心在于采用原生 Transformer 架构统一生成音视频，而非后期配音，确保声画同步与空间一致性。技术路径包括构建百万级音画对齐数据、利用动作控制联合生成、通过因果化与 KVCache 实现实时推理。模型权重与代码将于几周内完全开源。
「多模态」频道最新
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 数字人 Fae 用 FACS 逐帧编码表情，Claude Opus 5.5 做情绪分析 — repligate · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16
- Flux 3 Klein 默认模板有坑:必须接 prompt upscaler 才能出好图 — StrictMove5839 · 2026-10-16
- Kroma(Krea 2 系)被赞全面最强图像模型,仅缺画师名认知 — Different_Fix_2217 · 2026-10-16