零样本碰撞比最高2.9，SFT把四模型多样性校准到人类水平

Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs

Kirill Skobelev, Eric Fithian, X. Y. Han

cs.AI

2026-09-15

用碰撞比衡量多样性后，SFT并不天生导致模式坍缩；约三千条调查样本就把四个4B级模型的中位碰撞比拉回1附近。

这篇在解决什么

用 LLM 当「硅样本」填问卷、帮人写故事、做头脑风暴时，同一条 prompt 下的答案经常比真实人群更像、更重复。Doshi & Hauser、Bisbee、Xie 等人把这叫 mode collapse，模式坍缩。不少工作把它写成 LLM 的固有缺陷。

Northwestern 和芝加哥大学这篇把问题改成可测量：固定 prompt，独立抽两条回复，它们碰巧相同、或在某个相似度核下足够像的概率，叫碰撞概率 C。模型的 C 除以目标分布的 C，得到碰撞比 R。R=1 表示多样性校准，R>1 坍缩，R<1 过发散。接下来只问一件事：普通监督微调（SFT）会不会把 R 推向 1。

方法

碰撞比可以拆开看。对同一上下文反复独立拟合，期望碰撞比分解成三项：方差（非负，把概率往中间挤）、平方偏差（非负，同样促坍缩）、目标–偏差对齐项（可正可负）。前两项推高 R，第三项如果负得够狠，模型可以过发散。有限样本 SFT 本身不带坍缩方向，方向取决于起点和数据。

幅度上有硬上界。任意取值在 [0,1] 的相似度核，模型与目标的碰撞差绝对值不超过两者 KL 散度的平方根：先走乘积测度上的全变差，再套 Pinsker 不等式。KL 趋近 0，碰撞差必须趋近 0。交叉熵足够接近目标，多样性就不可能乱到任意程度。

实验三条线。

两条已知生成分布的 16 阶合成语言。每种语言在 100 个对数间隔样本量上各训 100 个小 GPT，共一万次拟合，三项都能直接估。一条从随机初始化的弥散先验出发（6.14M 参数，样本量 32k 到 11M），一条从已经压到常见 token 上的模态对齐先验出发（28.0M 参数，样本量 500 到 10^6）。
用 LoRA 微调 gemma-2-2b-it、gemma-3-4b-it、Qwen3.5-2B、Qwen3.5-4B，数据是 GSS（74,485 名美国受访者、376 题）、WVS（53 题）和 ANES（44 题）的人类选项答案。碰撞用选项上的 softmax 概率平方和，对照人类两两相同的 U 统计量。每个问题–人群组合至少 60 人才能进评估，GSS 上 18,270 对。
同一组模型微调 CodeNet 已接受的 Python 提交。完整程序几乎不会字面碰撞，改用规范化抽象语法树（AST）上的 Zhang–Shasha 树编辑距离核，每题生成 32 个程序。

结果

合成语言上，弥散先验的对齐项全程为负：小样本过发散，多数样本量下方差和平方偏差占上风，变成坍缩。模态对齐先验在中等样本量对齐项为正，最多贡献实测期望间隙的 31%。方向真的能翻。150,000 个上下文上 ℓ2 界全部成立，实测误差与界的中位比是 0.140，最大 0.980。

调查数字更刺眼。零样本时 Qwen3.5-2B 中位 RU 在 0.99–1.10，已经接近校准；另外三个模型在 1.61–2.92，有效选择数大约只剩人类的三分之一到三分之二。坍缩在跨国的 WVS 上最重，gemma-3-4b-it 到 2.92。大约 3,000 条微调样本之后，12 组调查–模型组合的中位碰撞比都进到 1 的 10% 以内；最大池上全部落到 0.99–1.02。

小数据会先搞坏。Qwen3.5-2B 在 GSS 上早期微调把 RU 从 0.99 抬到 2.22，有效多样性腰斩，然后才回来。

CodeNet 上同一批题目、微调前后对比：Gemma-2 从 1.035 到 0.971，Qwen3.5-2B 从 0.740 到 0.915，Qwen3.5-4B 从 0.844 到 1.003，Gemma-3 从 1.637 到 0.974。两边往 1 收。

设置	零样本中位 R	最大数据后
GSS / gemma-2-2b-it	2.11	1.00
GSS / Qwen3.5-2B	0.99	0.99（途中冲到 2.22）
WVS / gemma-3-4b-it	2.92	1.01
CodeNet / Gemma-3（同题）	1.637	0.974
CodeNet / Qwen3.5-2B（同题）	0.740	0.915

为什么重要

对做硅样本、风格模仿、代码微调的人，这篇把「模型输出太同质」从性格缺陷改写成覆盖不足。目标分布的样本够了，普通 SFT 就会把多样性从两边拉回来，不必先换 GEM、SED-SFT、TOFU 这类改目标函数的方法。反过来，几百条 SFT 可能把本来校准的模型推坍，Qwen3.5-2B 已经演示过。

它不否定 RLHF / DPO 的目标本身会压缩多样性。附录把那块算成总体最优政策的间隙，跟有限样本间隙分开。想修偏好对齐阶段的坍缩，还得动目标，不能指望多喂 SFT。

局限与存疑

作者自己写了：目标覆盖不够时，校准仍然困难。调查目标用的是含训练与验证的未加权样本，不是加权总体；碰撞比中位接近 1，不等于逐题分布拟合。CodeNet 没有估序列级 KL，平方根界对树核数字没有定量意义。Qwen3.5-2B 默认非思考、4B 默认思考，解码不对齐，跨模型比较掺了生成配置。early-stop 适配器不保证是验证损失全局最小。模型最大 4B，开放生成上精确碰撞几乎估不到。

碰撞只是一种多样性。形式核和语义核会给出不同故事。把「多样性校准」读成「答案变好」，论文没有提供这份证据。

术语

碰撞概率 collision probability：同一条件下独立抽两条输出，它们相同（或核相似度的期望）的概率。
碰撞比 R：模型碰撞除以目标碰撞。1 校准，大于 1 坍缩，小于 1 过发散。
mode collapse：输出比目标更集中、更互相像。
Zhang–Shasha 距离：有序标号树之间的最小插入、删除、改标代价。
目标–偏差对齐项：分解里唯一可负的项，决定有限样本是坍缩还是过发散。

原文与代码

社区讨论

新论文：微调可同时修复 LLM 的模式坍缩与过度发散 chrmanning