Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao
cs.CL
2026-10-22
Cola2把语义压进连续潜变量再解码。3460亿token未收敛,八任务60.10,两项超Llama-3-8B。
分层语言模型把语义组织和 token 落词拆开。连续潜空间负责「这段说什么」,离散解码器负责写成哪些词。Cola DLM 已做潜变量先验加条件解码,拆开仍不等于分工有效。序列压短,不等于有限位置上是可预测语义;只做重建,也不保证能补被遮住或尚未写出的词。编码器提前冻住,信息分配在解码器学会前就定了。先验梯度写回编码器,会把潜空间推向好拟合的方向。
Cola2 要一起定三件事:潜变量留什么,残差由解码器补多少,以及哪条损失可以改表示。
文本按内容切成连续片段,每段压成一个对角高斯潜变量。压缩率 ρ = K/T,K 是潜变量个数,T 是 token 数。默认约 2 个 token 对应 1 个潜变量,维度 64,片段最长 8。目标压缩率靠一个不回传梯度的负反馈偏置维持,不另加速率损失,避免它和表示学习抢梯度。片段内双向聚合,潜变量之间因果。
离散侧是块因果 MDM:块间只看历史,块内双向去噪。时长头预测每个潜变量覆盖的 token 数,再展开成与词对齐的条件。潜变量序列按块交给 DiT,用 Flow Matching 拟合编码器正在产生的分布,拟合前对潜变量 stop-gradient。语义在短轴上采样,用词仍在 token 空间完成。
每个潜变量块以 0.2、0.4、0.4 的概率进入干净、加噪、丢弃。生成监督会遮住部分编码器输入,潜变量必须预测看不到的词。token 损失的梯度穿过潜变量更新编码器。第一段学压缩和这个平衡,第二段加上 DiT,先验梯度到不了编码器,解码通路不停。
推理时 DiT 提议一块潜变量,解码器出词,再按既定片段布局重编码后才写入历史。默认 8 步 DiT、4 步去掩码,两侧用 CFG。3460 亿 token 那次运行从 Qwen3-4B-Base 初始化解码器和编码器 embedding,自注意力保持因果,遮挡处喂 [MASK]。
组件消融在 OLMo 2 上看 LAMBADA。ρ = 1/2、Lmax = 4 时动态切分 25.0%,比随机高 4.4 个点,比定长高 8.2 个点;Lmax = 8 时 29.4%,超过不压缩的 28.7%。负反馈控速 25.0%,DLCM 18.4%。四层编码器 0+2+2(不放 token 层、两层池化、两层潜变量)为 29.6%,六层变体只有 20.9% 到 26.3%,去掉池化层跌到 15.7%。片段内双向注意力 26.7%,全因果、端点池化和均值池化都不超过 19.0%。dz = 64 时 32.3%,加宽到 512 跌到 14.5%。片段越长越吃亏:最优配置从片段长 2 的 32.3% 降到片段长 4 的 25.2%。
纯重建 15.7%,Span-AR 和 BERT 式目标升到 25.2%、26.5%。MDM 解码器下,冻住编码器 47.6%,两边一起训 53.5%,加上生成损失 58.2%。DiT 梯度写回编码器,2 万步领先 2.2 个点(23.6% 对 21.4%),14 万步落后 1.0 个点(32.1% 对完全截断的 33.1%)。8 步去噪、引导强度从 1 提到 14,准确率从 12.2% 升到 37.1%;8 步到 128 步最多再差 0.3 个点。
AR-MTP 与 MDM 的差距始终不超过 1.4 个点,15 万步分别为 44.1% 和 45.5%。丢弃、加噪、干净取 0.4、0.4、0.2 时 LAMBADA 为 44.7%,重建准确率仍高于 99.5%。按这个配比训练的解码器在 wdec = -0.9 达到 44.7%,干净条件过多的解码器最高 40.3%。总参数 3B 时,2B 的 DiT 加 1B 解码器为 44.4%,比其他切分高 3.3 到 4.4 个点。潜变量洗牌从 46.5% 降到 34.3%,置零只到 41.2%。
约 210B token、模型与数据对齐的五任务比较里,不压缩的 Cola-MDM 均分约 34.5%,自回归约 33%,LAMBADA 约 64%,高出 Cola DLM 约 15 个点。压缩后的 Cola2-MDM 在 LAMBADA 上约 61%,与自回归接近,RACE 约 10.5% 对 4.5%,SQuAD 和 Story Cloze 更弱。约 150B token 后,距 LLaDA 的均分差从约 4 个点收到约 1.5 个点,曲线还在升。
346.03B 源 token 的未收敛检查点换了配方:Qwen3-4B 分词器,序列长 4096,三段为 52.43B、125.83B、167.77B,最后一段冻住 VAE、只训约 4B 的 DiT。八任务是生成后精确匹配,Cola2 取三次采样平均。各模型配方、分词器和 token 计数不同,计算量没有对齐。
| 模型 | 训练 token | 八任务均分 | HellaSwag | StoryCloze | MMLU |
| Llama-3-8B | 15T+ | 66.25 | 39.21 | 79.49 | 63.19 |
| Qwen2.5-7B | 18T | 75.08 | 75.67 | 95.09 | 70.16 |
| Qwen3-8B-Base | 约 36T | 75.87 | 68.13 | 97.44 | 72.31 |
| LLaDA-8B-Base | 2.3T | 72.11 | 69.65 | 95.94 | 61.27 |
| Cola2 | 346.03B | 60.10 | 41.75 | 80.42 | 51.32 |
均分 60.10,比 Llama-3-8B 的 66.25 低 6.15。领先只在 HellaSwag(41.75 对 39.21)和 StoryCloze(80.42 对 79.49)。同表 Qwen3-8B-Base 为 75.87,LLaDA-8B-Base 为 72.11。
换解码器几乎不改结果,MDM 与 AR-MTP 最多差 1.4 个点。分数主要跟着潜变量走:维度从 64 加到 512,准确率从 32.3% 掉到 14.5%;潜变量洗牌掉 12.2 分。先验梯度写回编码器,后期会把表示带偏。固定 3B 时,2B 给 DiT、1B 给解码器,再往任一侧堆都会变差。
346.03B 源 token 大约是 Llama-3-8B 所报至少 15T 的 1/43,均分仍低 6.15。两项超过,幅度是 HellaSwag 多 2.54、StoryCloze 多 0.93,解码器又继承自 Qwen3-4B-Base。相对 Qwen3-8B-Base 和 LLaDA-8B-Base,这是没训完的早期系统。
潜变量 DiT 远未收敛,更大模型和更长训练都还没做,上限未知。压缩省的是潜变量先验的 FLOPs,端到端速度还叠着解码器、CFG 分支和重编码,速度没有实测。与自回归或 MDM 如何分担,以及潜空间接视觉,只有展望。
八任务表没有对齐计算量。解码器从 Qwen3-4B-Base 初始化,指标是生成后精确匹配,HellaSwag 上 Llama-3-8B 只有 39.21,对不上常见的多项选择榜。约 210B token 的五任务均分还在三十多分,和 60.10 不是同一条曲线。压缩率实际波动没有给出。