OpenCLIP 迎来大更新：整合音频模型与可变分辨率架构
wightmanr · x · 2026-08-14
作者过去几个月对 OpenCLIP 库进行了大量修改，重点支持了可变分辨率/宽高比的 NaFlexViT 编码器及相应的 WebDataset 数据管线，并整合了现有的音频 CLAP 模型。
此外，作者尝试将 NaFlex 与 CLAP 结合，基于 timm 的 NaFlexViT 添加了 mel patch embedder，无需重大架构更改即可实现音频处理的可变时间能力。同时还引入了类似 ModernBERT 的 'modern-text' 文本编码器。初步训练的小型模型已验证了该架构的可行性。
所属事件:OpenCLIP大修：整合音频模型与可变分辨率(3 条相关)→
「多模态」频道最新
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- vLLM 官宣支持 Muse Spark Open：多模态、1M 上下文 — vllm_project · 2026-10-16
- InfoVis 发布:9B 统一模型做 PPT 幻灯片生成与编辑,1300 万数据训练 — Jiahao Wang · 2026-10-16