DeepMind 发布 AudioFM:12 项音频任务 10 项最佳,医学听诊超先前 SSL
iScienceLuvr · x · 2026-10-27
Google DeepMind 研究者发布 AudioFM,一个面向通用音频表征的自监督学习框架(arXiv:2610.34183)。
- 方法:结合录音级对比学习与 patch 级掩码隐空间判别——student 看被时间/频率掩码的频谱图,预测被掩码 patch 的表征,并从其他录音的候选中挑出对应的 full-view EMA-teacher 目标;另引入时间邻域的弱监督以增强局部时序一致性。
- 结果:linear probing 下在 12 个任务中的 10 个取得最佳或并列最佳,在事件检测、场景理解与跨域泛化上达到 SOTA。
- 亮点:在医学音频上超越先前音频 SSL——心脏杂音分类 +4.7 F1,睡眠呼吸暂停分型 +3.2 F1,显示音频基础模型在医疗 AI 中的潜力。
所属事件:DeepMind 发布 AudioFM，通用音频表征 12 项任务 10 项最佳(2 条相关)→
「多模态」频道最新
- 创意总监 Rob McLellan 展示 AI 数字人 Sera 实拍级演示 — tess-tipple · 2026-10-27
- 网友自制 Runpod 模板：MOSS-Image 搭 ComfyUI 一键开跑 — TheTimster666 · 2026-10-27
- Seedance 2.5 首批 4K 实测：人脸细节与手指动作保持稳定 — DavidmComfort · 2026-10-27
- Frameo 上线 Seedance 2.5 无限生成：$19.99 可用 3 小时 — Aiden_Tech_Ai · 2026-10-27
- Seedance 2.5 生成 AI 视频被赞杰作，作者公开了 prompt — Aiden_Tech_Ai · 2026-10-27
- Seedance 2.5 生成 AI 电影短片《THROUGH》,废土质感惊艳 — SouthAnimal6134 · 2026-10-27