OpenCLIP 迎来大修：支持可变分辨率与音频 CLAP 模型集成
giffmana · x · 2026-08-14
开发者分享了对 OpenCLIP 进行的深度改造经验。主要工作集中在输入管道（input pipeline）上，以支持可变分辨率和宽高比的 NaFlexViT 编码器及匹配的 webdataset 管道。此外，还将现有的音频 CLAP 模型集成到了 OpenCLIP 中，使得 LAION 的现有权重能够直接使用。作者还尝试将 NaFlex 与 CLAP 结合进行了初步探索。
所属事件:OpenCLIP大修：整合音频模型与可变分辨率(3 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16