论文:冻结 AMT 音频编码器生成音游谱面,跨游戏迁移效果分化
kastnerkyle · x · 2026-10-15
arXiv 论文《Transfer Learning for Rhythm Game Chart Generation from Music Transcription and Across Games》(Sojeong An、Chris Donahue 等)研究音游谱面自动生成:
- 谱面时间点多为音符起音(onset),恰是自动音乐转录(AMT)模型擅长定位的,但以往工作未利用 AMT
- 方法:冻结预训练音频编码器(AMT 模型),仅训练线性投影 + Transformer 解码器来生成谱面
- 结果:MuScriptor 比从头训练的编码器更贴近人类谱面,音符类型定位也优于无转录标签预训练的音乐编码器 MERT
- 跨模式:三个 osu! 模式联合训练把数据最少的模式 event F1 从 0.492 提到 0.506
- 跨游戏:布局相近的 Clone Hero 谱面反而降到 0.482,迁移效果取决于谱面风格与音乐覆盖
「研究」频道最新
- ACCRUE:真实机器人持续 RL,新任务仅需 4-12 分钟交互达 95% 成功率 — coallaoh · 2026-10-15
- AI 在铜催化剂上找出 9389 个 CO2 转化反应,突破传统模型盲区 — emmanuelvivier · 2026-10-15
- SciVeri-Bench 招募各领域科学家,共建开放式科研 Agent 验证评测 — AkariAsai · 2026-10-15
- DuoDiscover 把评估变成搜索一部分,代码优化超越人类专家 — OfirPress · 2026-10-15
- 微众研究:AI Agent 评测指标受评委偏差污染,约五周即失效 — Exp_Mark · 2026-10-15
- R3Con 框架：3B 小模型超越 Claude Sonnet，成本仅 1/3.7 — StellaLisy · 2026-10-15