Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning
Dunyao Xue, Chengshuo Du, Zhengbo Wang, Wenlin Dai, Cheng Meng
EMNLP 2026 Main Conference
cs.AI, cs.LG
2026-09-16
人大提出ME-Decoding，把下一步token选择做成集成剪枝，用自适应核折扣语义重复路径。三模型三温度下GSM8K均分72.66，高出Top-W约2分，T=2时远比概率截断稳。
下一步该采样哪个 token，决定了生成是稳还是飘。贪心和 beam 盯着高概率，输出容易复读、偏保守。随机采样能散开，低质量 token 也会分到不可忽略的质量，幻觉和胡话跟着来。
常用补丁是按概率截断再整形：Top-k、nucleus（Top-p）、Min-p、p-less 都在「只留够自信的候选」上打转。它们把每个候选当成独立类别，不管嵌入空间里「因此」和「所以」几乎是同一条续写。结果是支撑集又肥又重复，截断预算浪费在语义克隆上。
几何方法想补上这块。Top-W 把解码写成 Wasserstein 分布匹配，近似目标、超参都重。CraEG 按拥挤区域降权，但还要挂到别的解码器后面，行为被下游绑死。人大这篇要的更窄：不改参数、不重训，选出一撮又紧又有信息量的 token，高置信留下，语义重复的打折。
ME-Decoding 把当前步的候选看成一堆弱语义预测器，解码等于集成剪枝：单个要准，彼此还得互补。只挑分数最高的那几个会重样，整体未必更好。这和经典集成学习里的教训是同一件事。
流程可以复述成四步。
相似度矩阵是归一化嵌入上的高斯核，带宽按候选分布的概率加权语义离散度自适应：挤在一起就收窄、更听概率；散开就放宽、几何信号更强。
穷举子集是 NP-hard。实现是贪心往前加，增量维护 Cholesky 因子，避免反复求逆。每步看的是扣掉与已选 token 的相关之后，这个候选还能给 MEE 贡献多少；MES 不再涨就停。定理 3.1 说，相似度矩阵条件数不太差时，贪心轨迹单峰，早停不会错过这条路上的最高点；附录里 Qwen2.5-1.5B 在 GSM8K 和 GPQA 上各 512 条轨迹全部单峰。定理 3.2 给了一个由限制最小特征值控制的近似比。复杂度是 O(N τ (d+τ²))，早停后 τ≪N，接近对候选数线性。
模型是 Qwen3-4B-Instruct、Phi-4-mini-Instruct、Mistral-7B-Instruct，温度 1.0/1.5/2.0，对照 Min-p、Top-p、p-less、Top-H、Top-W。推理看 GSM8K 和 GPQA 抽答案后的准确率；开放生成看 AlpacaEval 胜率和 MT-Bench 分数，主裁判 DeepSeek-V4-Pro，附录用 GLM-5.2 做了第二裁判。
| 方法 | GSM8K 均分 | GPQA 均分 |
| Top-p | 34.30 | 26.74 |
| Min-p | 52.35 | 29.34 |
| Top-H | 57.10 | 31.10 |
| p-less | 66.97 | 31.08 |
| Top-W | 70.62 | 31.56 |
| ME-Decoding | 72.66 | 32.96 |
高温才是拉开差距的地方。Qwen3-4B 的 GSM8K 在 T=2.0：ME-Decoding 80.06，Top-W 74.98，p-less 63.15，Min-p 54.06，Top-p 21.00。Phi-4-mini 同一格：82.41 对 Top-W 的 82.18、Top-p 的 0.30。Mistral-7B 上是 53.90 对 Top-p 的 0.45。GPQA 难拉分，均分只比 Top-W 多 1.4；Qwen3 在 T=1.5 时 Top-W 反超（36.83 对 35.49）。
开放生成上所有模型、温度、benchmark 的平均排名是 1.94，其余大约 3.1 到 5.0。MT-Bench 三温度均分约 7.17，Top-p 在 T=2 掉到 5.34。附录里对 Top-W、p-less、Top-H 的配对 bootstrap 区间在两个裁判、两个开放基准上都为正。
CPU 合成 logits 测的是过滤加采样、不含模型前向。Medium（词表 32K、嵌入维 256、N=512）每 token 0.00179 秒，Top-W 是 0.00487，大约 2.7 倍差距；Large（128K / 1024 / N=2048）是 0.01799 对 0.13337，大约 7.4 倍。Large 上略慢于 Top-p 的 0.01407 和 Top-H 的 0.01493。附录写端到端 GPU 上前向仍占大头。
Qwen2.5-1.5B、T=1.0、三随机种子上，他们把纯概率对照校准到相近的支撑集大小、熵或成对余弦。GSM8K：63.20±0.57 对 size-matched 的 61.79±1.26；GPQA：32.66±1.05 对 28.47±1.17。这里平均 |S| 只有 1.08 左右，多数解码步只留了一个 token。
即插即用，不改权重。已经在用 nucleus / Min-p、又觉得 Top-W 太贵的人，可以把它当成更便宜的几何感知采样器，尤其是想把温度开到 1.5-2.0、又不能让数学题直接崩盘的时候。
相对 Top-W 的准确率增益是渐进的：GSM8K 均分大约 2 分，GPQA 更窄。高温稳定性更有用，相对 Wasserstein 方案还省下一个数量级的采样开销。
7B 级模型不会因为换解码器变成前沿推理系统。
默认 λ=0.9、候选池 512。代码已随论文公开。
作者承认三件事。核建立在静态 token 嵌入上，吃不到上下文相关的语义差，hidden-state 条件核还是未来工作。同等多样性下准确率更高，多样性本身经常不是最高，核可能偏保守。子集大小仍然难定，MES 不见得适合所有 next-token 分布。
主表只测了 4B-7B 指令模型，没有更大 MoE，也没有闭源 API。GPQA 并不是每格都第一，难科学题上几何信号很弱。开放生成完全靠 LLM 裁判。Table 5 的平均支撑集接近 1，「集成」在小模型上更像带几何刹车的近贪心。N=512 对几何方法一视同仁，但没扫候选池大小。CraEG 只在附录以插件形式出现，没进主表。