让AI音乐协作智能体“听懂”音乐:分层自监督世界模型

Scott H. Hawley · hf · 2026-08-07

本文提出了一种用于符号音乐的分层自监督“世界模型”,旨在帮助音乐协作 Agent 更好地理解和生成音乐。该模型包含一个 255 万参数的 Swin V2 编码器,通过 JEPA 风格的目标在 MIDI 钢琴卷帘图像上进行训练,全程无需标签或乐理词汇。

研究表明,模型能自发学习出时间与乐句结构,但在和弦识别上需少量监督。结合条件流匹配模型,该系统可在 CPU 上仅用 2.8 秒(Apple MPS 为 0.6 秒)生成音乐建议,并能通过掩码修复实现图形化提示,为人类主导的音乐创作提供了强大的 AI 辅助核心。