台大团队开源 MIDI-REPA:单卡 3090 训练 31 小时改进文本生成音乐
affige_yang · x · 2026-10-28
台湾大学团队发布 MIDI-REPA,用符号表示对齐改进文本生成音乐(TTM)模型。
核心思路:旋律、节奏、和声等音乐结构本可用 MIDI 紧凑表示,现有模型却只从密集音频学习。MIDI-REPA 通过自动音乐转录(AMT)获得 MIDI 监督信号,对齐 flow-matching DiT 的中间表示。
主要贡献:
- AMTFlow:乐器标签器 + MuScriptor 的转录流水线
- JamendoMIDI:51,077 首 Jamendo 器乐tracks的多乐器 MIDI 转录数据集(CC BY-NC-SA 4.0)
- 基于 122M 参数的 FluxAudio-S,实验发现对齐 MuScriptor 钢琴卷帘、在早期 DiT 层、贯穿整个 flow 轨迹效果最佳
- 无需额外数据或技术,在 ATTM 指标上保持竞争力,单张 RTX 3090 约 31 小时可完成训练
论文、代码与 Demo 均已开源,作者称符号监督是一种简单廉价的改进文本生成音乐的学习信号。
「研究」频道最新
- 软件正确性的算力分配将转向：形式化验证 > 模糊测试 — moarbugs · 2026-10-28
- David Ha 等神经进化新书《NeuroEvolution》由 MIT Press 出版 — neurovium · 2026-10-28
- DeepMind开源HOPE框架，可严格量化单个神经元的学习容量 — teortaxesTex · 2026-10-28
- 研究：token嵌入对值向量贡献远超表象，揭示Transformer设计根本约束 — teortaxesTex · 2026-10-28
- HF 工程师玩神经元的脑外科手术：改一个神经元 Qwen 变预言家 — LysandreJik · 2026-10-28
- 抗污染基准 LiveBench:动态更新题目+客观自动评分 — QuixiAI · 2026-10-28