V2N 系统：基于视觉的多任务钢琴全量音符转录
PianoVAM · hf · 2026-08-05
现有的视觉钢琴转录（VPT）系统通常只关注短时窗内的按键起始检测，在按键释放和力度预测上表现不佳。为此，研究者提出了 V2N（Video to Notes），首个完整的视觉钢琴转录系统。
- 架构设计：采用共享的时间主干网络，为起始、结束、按键保持和力度提供任务特定的检测头，并进行逐帧监督联合训练。
- 实验结论：消融实验表明，多任务监督不仅实现了结束和力度预测，还进一步提升了起始检测的准确率；更长的时间上下文也能带来显著增益。
- 效果：V2N 在 PianoVAM 和 R3 数据集上均取得了新的 SOTA 成绩。
「多模态」频道最新
- Dual SAM3 + 接缝遮罩：4K 全景 3DGS 重建工作流 — janusch_patas · 2026-08-05
- Hermes Desktop 结合 ComfyUI 实战：让 AI 自动修复工作流报错 — Birdinhandandbush · 2026-08-05
- AI 输出模仿人类手写笔记，支持涂抹与图表流式渲染 — op7418 · 2026-08-05
- ComfyUI 实用脚本推荐：任务完成自动声音提醒 — RPGstarDestroyer · 2026-08-05
- 清华提出 STAMPlus：一次推理解决多模态分割三难困境 — Tsinghua · 2026-08-05
- Kyutai 推出 Muscriptor：高精度音频转 MIDI 模型 — huggingface · 2026-08-05