开源立体声转空间音频模型
kittenkrazy · reddit · 2026-07-18
作者开源了 **Stereo2Spatial**，一个把立体声音乐转换为空间化双耳混音的模型，并发布了训练/推理代码、Hugging Face 模型和 Windows 桌面应用。 ### 关键实现 - 先做过基于 VAE latent 的方案，但受限于输出分布不匹配，音质出现瓶颈 - 随后改为直接建模原始波形，虽然更吃算力，但效果更好 - 训练过程中遇到不稳定问题，最终通过 **amplitude lifting** 解决：先把音轨按 RMS 归一化到 0.33，再乘回去扩大模型空间 ### 训练与发布 - 使用 7,669 首曲目训练，耗时约 20 天，硬件为 2× A6000 - 分两阶段训练：前 10 天短序列，后 10 天长序列 - 支持可选的 mix-style 条件控制 - 目前先发布的是 **双耳输出** 版本，作者表示未来在有更多算力时可继续训练 7.1.4 版本 - 项目采用 Apache 2.0 开源 ### 链接 - Hugging Face：`stereo2spatial-v2-binaural` 与 `stereo2spatial-v1` - GitHub：训练/推理仓库和 Windows App 均已公开 - 还有详细 case study 记录从 latent 方案转向 waveform 方案的过程