PianoBench 基准测试：开源音频模型最高仅 52.8% 准确率
kastnerkyle · x · 2026-11-05
PianoBench:测试语言模型的音乐感知与推理
研究团队(含 Chris Donahue 等人)发布 PianoBench 基准,要求语言模型在一致的音频与符号(文本转录)两种表示下对钢琴演奏进行音乐推理。基准源自一个新的大规模多模态数据集：来自钢琴教学视频的 2 万多小时音乐与口语讲解交替转录。
关键发现：
- 开源音频-语言模型在 PianoBench 上最高仅 52.8% 准确率，相比无音频对照组仅有微弱提升；
- 前沿模型使用思维链并拿到音乐文本转录时可高达 93.2%,暴露了「从音频感知音乐」与「对显式给出的音乐事件推理」之间的巨大差距；
- 在交替音乐指令数据上做 mid-training 后，Qwen 3.5 9B Base 的 zero-shot 准确率从 42.8% 提升到 56.0%(无需思维链)。
结论：教学视频可能是被忽视的多模态音乐监督来源。
「多模态」频道最新
- Gemini 3.8 Flash TTS 上线 Voice Remixing,2000+ 预置声音可提示词微调 — GoogleDeepMind · 2026-11-05
- AI 生成艺人 AMARA 单曲播放破 249 万,圈内人日常循环听 — kyliebytes · 2026-11-05
- Seedance 2.5 新作「偷帽贼」:一致性角色短片又出新demo — azed_ai · 2026-11-05
- 开发者用 Gemini 4 + Antigravity 自动生成项目幕后视频 — alexanderchen · 2026-11-05
- 谷歌收购 AR 创业公司创始人推出 Atmee v2：实时拟真数字人视频模型 — eptwts · 2026-11-05
- 作者公开 Frozen+反向 Seedance 提示词玩法 — techhalla · 2026-11-05