SheetSage2 用合成监督实现连贯乐谱转录,15 项指标中 12 项领先
m-a-p · hf · 2026-10-08
m-a-p 团队发布 SheetSage2，一个统一的音乐转录框架，把音乐录音转成人类可读乐谱，要求对节奏、和声、旋律与曲式有一致理解。
三大技术组合
- 合成监督：自动标注的 MIDI 渲染成音频，为音乐理解任务提供可扩展训练数据；
- 任务特定结构化解码：整合互补的音乐线索及其时间依赖，生成音乐上连贯的完整乐谱；
- 自回归蒸馏：推理时无需任务特定动态规划，同时保持转录精度。
结果：单个 SheetSage2-AR 模型在 8 个基准集合的 15 项 benchmark-metric 对中 12 项超过已列出的既有系统，大幅超越 SheetSage1，并在多个基准上胜过任务专用模型。模型权重与推理代码已开源。
「多模态」频道最新
- Reddit 用户用 MiniMax H3 把《The Cone》拍成短片 — nikhilprasanth · 2026-10-08
- Ideogram 发布 4.5 图像模型，新 UI 加视频集成获好评 — bennash · 2026-10-08
- Dreamina 推出首个 AI 影剧集内容品牌「Dreamina Originals」 — LudovicCreator · 2026-10-08
- 用 Claude/Gemini 逐帧拆解视频，生成 Seedance 提示词复刻自己 — TawohAwa · 2026-10-08
- MiniMax 设计工具演示：写代码生成 JS 动画与讲解视频 — Hailuo_AI · 2026-10-08
- 单卡 RTX 5090 用 Drifting 方法从零训练土耳其语 TTS — kadir_nar · 2026-10-08