美团 LongCat 提出通用视觉分词器，离散码统一理解生成与编辑
meituan-longcat · hf · 2026-11-11
美团 LongCat 团队发布 dNaViT（Discrete Native-resolution Vision Transformer），探索「有限离散词表能在多大程度上表示视觉世界」这一核心问题，主张让视觉与语言在统一的下一 token 预测框架下共享方法论与基础设施。
方法要点
- 在冻结的预训练编码器之上，用轻量残差调制 + 双分支目标，把重建感知线索注入语义特征
- 通过分组乘积量化（grouped product quantization）扩展离散容量，而不膨胀空间序列长度；配合均衡训练配方，兼顾语义与像素级信息
结果
- 作为通用视觉分词器，在 12 个视觉理解 benchmark、4 个生成 benchmark 和 1 个图像编辑 benchmark 上匹配或超过各任务的专用基线
- 同时支持下游任务编码与高保真图像解码，证明紧凑离散词表可作为「通用视觉货币」
项目页、GitHub 与 Hugging Face 权重均已开放。
「多模态」频道最新
- Sandflow 发布 sand3d-objaverse 数据集，含数万条 3D 生成样本 — Sandflow · 2026-11-11
- 免疫学家用 Fable 5.2 全流程生成 8 分 40 秒 T 细胞纪录片 — DeryaTR_ · 2026-11-11
- Midjourney sref 码 3652479600：暗调动漫风成片效果展示 — azed_ai · 2026-11-11
- 腾讯 Hy-Nomas 世界模型升级：支持参考图初始化与 B300 实时流式生成 — Scobleizer · 2026-11-11
- 网友用 Fable 5.2 生成拿破仑主题视频剪辑 — imjustnewatai · 2026-11-11
- Matt Wolfe 实测 Fable 5.2：AI 互动叙事又进一步 — Matt Wolfe · 2026-11-11