WavLate 用 MaxSim 对齐音频与词向量,每 10 秒音频保留 32 个向量

IgorCarron · x · 2026-11-21

开发者 Aarush 发布 WavLate:基于 mLateOn 文本编码器与 MGA-CLAP 音频编码器构建,每 10 秒音频保留 32 个向量、每个词对应一个向量,再用 MaxSim 把每个词匹配到音频片段中最契合的时刻,实现细粒度的音文对齐。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →