新论文：微调可同时修复 LLM 的模式坍缩与过度发散
chrmanning · x · 2026-09-17
arXiv 论文《Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs》(Skobelev 等) 对「LLM 输出多样性坍缩」给出更细致的刻画：
- 模式坍缩是否发生取决于具体模型、数据集与后训练方法，并不像通常认为的那样一致，有时输出甚至比目标分布更多样。
- 论文用「序列碰撞概率」(同一 prompt 两次采样给出完全相同或高度相似回答的概率) 形式化衡量 LLM 多样性。
- 推导出模型与目标分布碰撞概率差距的偏差-方差分解，证明 SFT 本身并不天然偏向坍缩或发散：有限样本微调可能造成任一方向的失准。
- 给出上界：该差距被目标分布到模型的 KL 散度的平方根所约束，接近最优的模型不可能出现任意严重的多样性失准。
- 结论：足够多的 SFT 数据会让输出多样性收敛到目标分布；微调可同时修复欠多样性(坍缩)与过度多样性。
「研究」频道最新
- 谷歌联合团队绘制成年雄性果蝇完整大脑连接组,附实操解读 — TinfoilTricorn · 2026-09-17
- 斯坦福 25 岁博士生凭 LLM 谄媚研究入选 MIT TR35 — jurafsky · 2026-09-17
- Andrew Zhao 谈 MOPD：组织分工优势大于性能优势 — _AndrewZhao · 2026-09-17
- BuildingBench 让编码智能体从图片造 3D 建筑,新隐身模型宣称省 10 倍 token — Lianhuiq · 2026-09-17
- 爱丁堡等团队提出 RoMem:用相位旋转处理过期知识,时序推理提升 2-3 倍 — Roger_M_Taylor · 2026-09-17
- 新论文 Instrumental Choices：LLM 智能体违规走捷径行为的可测量基准 — drbiomass · 2026-09-17