日本团队全自研图像编码器，媲美 SigLIP2 并支持中日英
HirokatuKataoka · x · 2026-11-04
Noetra 公开技术博客，介绍为打造国产多模态 LLM 而从零构建图像编码器的全过程，目标是摆脱对 SigLIP2 等闭源训练模型在透明性与安全性上的依赖。
关键信息
- 训练数据整合 CC3M、CC12M、datacomp1b、OBELICS、MINT-1T-HTML、OmniCorpus-CC、relaion2B 及日语 WAON 等数据集，其中 Interleaved 文档数据通过 SigLIP2 相似度匹配，为每张图抽取最相关句子作为 caption 转成图文对。
- 经过缺失剔除、图像尺寸/长宽比过滤、语言过滤（保留英日中，中文因与日语共享汉字、利于 OCR 迁移，约占 3.4%，日语约 9%）、图文相似度过滤与去重，构建大规模训练集。
- 最终模型在英文基准上与 ViT-SO400M-14-SigLIP2 相当，在日语、中文基准上更高；接入多模态 LLM 后的 Vision 任务表现也超过 SigLIP2。
「多模态」频道最新
- GPT image 2.5 的梦幻镜头光晕效果,Krea2 turbo 复刻不出 — _gaurab · 2026-11-04
- 开源本地 VFX 工作室:24GB 显存内全流程视频特效,两周做成 — Turbulent-Barber582 · 2026-11-04
- 商汤发布 SenseNova 6.8 Flash:长记忆、PPT、可编辑 Blender 3D 一站式 — aftahi_ai · 2026-11-04
- Riverside 推出面向视频的 AI 制作团队：50 分钟播客自动出剪辑和文案 — HeyAmit_ · 2026-11-04
- op7418:Muse 视频模型真实场景表现离谱,首次免费可用 — op7418 · 2026-11-04
- Gaussian Splatting 实时渲染黑洞引力透镜与 37.3 万颗恒星 — willeastcott · 2026-11-04