OpenCLIP 4.2 发布:CLAP2 变长音频与 NaFlexViT 全面支持

wightmanr · x · 2026-11-14

OpenCLIP 作者发布 v4.2,核心是支持新的 CLAP2 变长音频-文本模型,并带来一系列大更新:

新模型家族:接入 OpenMaMMUT(双对比+生成式图文模型,开源权重,修复了 MaMMUT2 与 CoCa2 的池化 bug),以及 GenLIP/GenLAP 纯生成 decoder-only 模型
NaFlexViT 编码器:所有模型支持可变分辨率/可变 patch;CLAP2 是用 log-mel patch 的 ViT 音频编码器,MaMMUT2 与 CoCa2 同样支持
ModernText 文本塔:RoPE、SwiGLU、门控注意力、变长/长上下文,配 TikTokenizer
数据管线:支持 NaFlex patch 化与变长文本,含 length bucketing 提升效率
训练栈重构:FSDP2、torch.compile,即将支持 PyTorch 2.15 varlen attention 提升 NaFlex 吞吐

项目开源于 mlfoundations/openclip。

「研究」频道最新