LAION-Audio-XL: A Web-Scale Corpus and Scaling Studies for Contrastive Language-Audio Pretraining
Gijs Wijngaard, Felix Förster, Ross Wightman, Marianna Nezhurina, Christoph Schuhmann, Jenia Jitsev, A. Sophia Koepke
cs.SD, cs.CL
2026-11-09
14.8 亿条网络音频筛成 3.65 亿文本对,340M 的 CLAP2-L 在 MAEB-30 拿 53.6%,压过 7.7B 模型。
CLAP(对比语言-音频预训练,把音频和描述文本映射进同一个嵌入空间,相当于音频界的 CLIP)近年的进步主要靠堆数据,但开源音频文本数据一直卡在小规模:通用声音的开放标注集约 5000 万对;最大的开放发布 Bagpiper 有 3.92 亿对,绝大多数是语音,字幕全部出自单一 captioning 模型。新一代音频基础模型动辄宣称用上亿小时私有数据训练,外人无法复现。视觉和语言早就有 LAION-5B、DataComp 这种十亿级、清洗流程透明的开放语料,音频一直没有对应物。
第二个问题是预算分配:固定算力下,该训更大的模型还是给模型看更多样本?语言模型和原生多模态模型各有答案,对比语言-音频预训练此前没人系统测过。
一半是语料工程,一半是 scaling 研究。
语料从 425 个来源收了 14.8 亿条音频,其中 316 个来自或衍生自学术发布。YouTube 占大头,3266 万条 Creative Commons 视频切出 11.8 亿条样本;Common Crawl 里扫出的音频链接去重后剩 4.23 亿个。清洗管线依次是:
最终保留不超过 30 秒的 3.65 亿对、139 万小时,即 LAION-Audio-XL。
模型 CLAP2 分五档,2700 万到 3.4 亿参数,全部从零训练。音频塔用 NaFlex 式变长 ViT 处理 log-mel patch,文本塔是换成 RMSNorm 加 SwiGLU 的 ModernBERT。从零训练去掉了预训练权重的混淆,scaling 曲线才读得干净;训练时按音频长度分桶组 batch,省掉 padding 开销。
| 模型 | 参数量 | MAEB-30 均分 |
| CLAP2-L | 340M | 53.6% |
| CLAP2-M | 153M | 52.3% |
| LCO-Embedding-Omni-7B | 7.7B | 53.5% |
| jina-v5-omni-nano | 855M | 51.8% |
| GLAP | 855M | 44.1% |
| LAION Larger CLAP | 194M | 36.2% |
340M 的 CLAP2-L 是全表最高,比它大 20 多倍的 7.7B 全模态嵌入模型以 53.5 居其次;1B 以下,153M 的 CLAP2-M 超过此前最强的 jina-v5-omni-nano(855M)。和同为对比式音频文本模型的 GLAP 比,差距 9.5 分,和 LAION-CLAP 的 35.2% 比差 18.4 分。论文还报告 XXS 到 M 档只输给参数量至少 8 倍的模型。HEAR 上 CLAP2-S 到 L 拿 81.4–81.9,高于其余全部音频文本模型(最高 81.2),但纯音频编码器 USAD 2.0 能到 86.8。MSEB 上 CLAP2-L 的 30.3 排第二,输给 M2D-CLAP 的 30.7。
scaling 侧的数字更有操作价值:
音频方向第一次有了流程全部公开的十亿级原始池和 3.65 亿对成品语料,可再分发的音频直接放出,自爬部分给链接、字幕和元数据,模型与代码全部开源。做音频检索、数据清洗、text-to-audio 生成的团队可以直接把 CLAP2 当嵌入工具用,27M 档够筛数据,340M 档够上排行榜。
预算分配的结论可以直接照着做:算力优先换样本,剪辑长度卡在 30 秒。架构上没有新东西,NaFlex 和 ModernBERT 都是现成组件,分数全部来自数据工程。
作者自己承认,这对配比指数是指示性的,不是定论:只有五个离散尺寸,帕累托前沿上的内部最优点只有三个,两端都被边界顶住。外推到 10^12 GFLOPs 需要 18 亿样本,等于在 3.65 亿语料上跑约五个 epoch,而语言模型里重复数据超过约四个 epoch 价值就打折,这个假设在音频上没有验证。
其余薄弱处:94% 的字幕来自两个模型的单次生成,规模化后的质量没有人工审计;模型输入封顶约 30 秒,评测音频也截断到 30 秒,长音频任务覆盖不到;训练样本 86.2% 来自 YouTube 单一来源;环境声饱和说明这个子领域靠堆数据已经到头;MSEB 第一是 M2D-CLAP,不是 CLAP2。