开源 NaFlexCLAP：支持可变分辨率的音频-文本多模态模型
wightmanr · x · 2026-08-14
知名视觉模型研究者 Ross Wightman 分享了其最新的实验模型集合 NaFlexCLAP，目前已开源在 Hugging Face 上。
- 技术特点：该项目将 timm 的 NaFlexViT 音频编码器与现代文本编码器结合，构建了支持可变时长和可变长度的 CLAP（对比语言-音频预训练）模型。
- 工程优化：作者对 OpenCLIP 主分支进行了大量修改，以支持可变分辨率和宽高比的编码器及相应的 webdataset 数据管线，并集成了现有的音频 CLAP 模型权重。
- 可用性：目前放出的多个模型版本（参数量从 160M 到 240M 不等）均可通过 OpenCLIP 主分支直接调用。
所属事件:OpenCLIP大修：整合音频模型与可变分辨率(3 条相关)→
「多模态」频道最新
- Midjourney 拟真晨光人像 prompt 分享：皱巴睡衣+自然皮肤质感 — tisch_eins · 2026-10-16
- Higgsfield 开源跳票后,ComfyUI 悬赏 2.5 万美元征集开源重建 — PurzBeats · 2026-10-16
- 从1986老照片到2026：一张图的扩图、现代化改图与4倍放大全流程 — juanpablogc · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- 三份资源速通 FLUX 3 图像生成模型 — ariG23498 · 2026-10-16
- 网友让 Opus 5.5 造一辆新特斯拉 Roadster,结果出人意料 — TAbrodi · 2026-10-16