247M 参数视觉文档检索编码器 UltraVBERT 开源，支持 27 分块高分辨率
kalyan_kpl · x · 2026-10-28
UltraVBERT 是一个 247M 参数的视觉语言编码器，定位为视觉文档检索器的基础模型，由 UltraBERT-150M 文本编码器与 SigLIP2-B/16-512 视觉编码器组合而成，为每个文本与图像 token 生成上下文嵌入。
架构：基于 ModernVBERT 改进——用 UltraBERT 替换 Ettin-150M 文本编码器，对 connector 输出做归一化，页面限制从 2048px/16 分块提升到 3072px/27 分块，并新增渲染文本页面的训练阶段。
训练：在图像对话的答案上做掩码语言建模（80% <|mask|>、10% 随机替换、10% 保留）；在两个编码器和 MLM head 上用 DoRA 适配器（rank 64、alpha 16），峰值学习率 1e-4，connector 全量训练。
已发布三个模型：UltraVBERT（基础编码器）、BiUltraVBERT（单向量检索器）与 ColUltraVBERT（late-interaction 检索器，含 Demo），均已可用。
「研究」频道最新
- 数学非实证学科,智能应投向降低实验成本的方向 — shlomifruchter · 2026-10-28
- ArabicNLP 2026 在布达佩斯开幕，两天议程随 EMNLP 同期举行 — mageed · 2026-10-28
- Piano2Pop:无对齐监督把钢琴小样扩展成完整流行编曲 — umpedronosapato · 2026-10-28
- Google DeepMind 明年招研究实习生：探索前沿智能体群体能否累积能力 — egrefen · 2026-10-28
- 研究者分析逝者 Apple Watch 与 Oura 数据，发现死亡前的隐秘信号 — 5le · 2026-10-28
- NAVER 论文：预训练语料的词法印记可追踪 zero-shot 成绩 — naver-hyperclovax · 2026-10-28