rwightman 发布首个 patch+序列长度双重 jitter 的 NaFlexViT CLIP 试验模型

wightmanr · x · 2026-09-06

timm 作者 Ross Wightman 推出了一个来自 OpenCLIP 试验的测试模型,据称是首个同时使用 patch size jitter(FlexiViT)与序列长度 jitter(NaFlex 风格)训练的 CLIP 模型:在 CC12M 上训练的小型 NaFlexViT CLIP,与固定 patch size、可变序列长度的版本对比。

相关工程进展:timm 1.0.29 与 OpenCLIP 近期均加入 patch jitter 支持;timm 侧做了性能优化,包括为 FlexiViT 缩放预缓存 pinv 矩阵,并适配预 patchify 的 NaFlex 流水线(流水线持有 5D 张量以恢复所选 patch size,模型内用扁平 nn.Linear 做 embed)。