AMBIT 统一框架实现一阶全景声生成与编辑,港科大携手 Noiz AI 出品
NoizAI · hf · 2026-10-27
Noiz AI 与港科大等机构发布 AMBIT 框架,统一支持一阶高阶混响(FOA)空间音频的生成与编辑。
核心贡献:
- Transfusion 主干:自回归场景规划耦合整流流渲染,通过可执行的 SCENEPlans 指定内容、活动与 3D 轨迹;编辑时计划描述完整目标场景含保留声源,对比特征定位修改点,参考音频潜在量补充声学细节。
- FOA 专用连续 VAE:共享解码器全向恢复、非对称分组 KL 与空间协方差匹配,保留内容与声道间结构。
- 在策自蒸馏(OPSD):在学生模型的规划前缀与渲染状态上精炼规划,目标条件化教师监督共享学生两种模式。
在语音、音乐、音效评测中,生成内容与空间质量、指令编辑的声学保真度及未编辑声源保留均优于基线。
「多模态」频道最新
- 「玻璃海绵神经元」:AI 生成的诡异深海生物图走红 — Sauers_ · 2026-10-27
- 网友称这是迄今见过最好的 AI 生成作品:10/10 — sebpaquet · 2026-10-27
- 开源工具 Charakuru:一张立绘几分钟生成 3D 角色模型 — aftahi_ai · 2026-10-27
- fal 用 GPT-6.1 Terra 实测 Blender 3D 到 Seedance 2.5 电影级短片 — gorkem · 2026-10-27
- 博主公开 AI 逼真视频全套制作流程与提示词,效果以假乱真 — aftahi_ai · 2026-10-27
- 用 Krea 生成华丽银色 Pioneer CDJ 打碟机概念图 — TitusTeatus · 2026-10-27