美团 LongCat 提出因子化向量量化 FVQ,离散视觉 token 追平连续表征

meituan-longcat · hf · 2026-10-28

论文《Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?》来自美团 LongCat 团队联合华中科大、上海交大、北大、清华等机构，重新审视了「量化误差必然造成不可接受的语义损失」这一假设。作者发现量化误差并不可靠：误差大得多的离散表征反而能取得更好的多模态理解效果，真正决定下游性能的是离散索引的有效比特预算，而现有量化器在增加码本时会逐渐饱和。为此提出 Factorized Vector Quantization(FVQ),用对称并行码本对视觉特征的互补固定维度视图做量化，在大比特预算下持续提升，最终在多模态理解上追平连续视觉表征。