MJev-Spatial:单次前向分类框架做空间推理,快过自回归 VLM
mindlab-research · hf · 2026-10-16
Mind Lab 提出 MJev-Spatial，一个面向空间智能的「系统一」多模态决策模型。作者指出空间关系判断、物体形状、放置位置等任务输出空间紧凑（选项/标量/2D 点），而 VLM 却为自回归解码与答案解析付出代价。
- 方法：将各类空间推理任务统一为单次前向的分类框架，把候选视为类别，用骨干网络预训练的 query/key 投影打分，不加参数；数值与点预测通过粗到细分箱、图像区域经粗到精分类逐步细化。
- 训练：基于 Qwen3.5-4B，在 1230 万条由现有空间数据集转换的问答对上训练；所有粗到细阶段用 teacher forcing 在一次前向中联合监督，配合长度感知全局批处理与跨 GPU 负载均衡，训练吞吐提升 30.8%。
- 效果：相比自回归视觉-语言模型，速度与准确率均有提升。
「多模态」频道最新
- Kandinsky 开源 S2V 1.0：单张照片+语音生成口型同步数字人视频 — lmoroney · 2026-10-16
- 梗图:Flux 3 Klein 5.6B 一出,Flux 2 Klein 9B 遭弃 — xb1n0ry · 2026-10-16
- Pichai 转发用户实测：Gemini Argon 11 小时建出飞鸟时代佛塔 — sundarpichai · 2026-10-16
- Midjourney --sref 1127756965：拼贴质感插画风风格码分享 — sergeantsref · 2026-10-16
- 一条「贴海面拉升俯瞰悬崖」视频模型运镜 Prompt 走红 — umesh_ai · 2026-10-16
- 4070 实测：Flux.3 klein 蒸馏版 10 秒 vs Qwen Image 2.1 turbo 3 秒 — Ant_6431 · 2026-10-16