LeAVJEPA 发布:单一共享编码器实现音视频自监督学习

Aalto 大学 Arno Solin 团队发布 LeAVJEPA,将 LeCun 等人的 LeJEPA 框架扩展至音频与视频领域,是首个基于 LeJEPA 无坍缩目标的音视频自监督编码器。其架构极为简洁,采用单个 early-fusion 共享 Transformer 编码器,无需类别标签即可自监督学习音视频联合表征,冻结评测在 AudioSet 上达到 36.0 mAP。

2026-10-08 ~ 2026-10-08 · 2 条相关