「部分模型坍缩」:LLM 在模糊任务上已悄然退化

maksym_andr · x · 2026-11-22

作者提出「部分模型坍缩」(partial model collapse)的概念:当前模型在可验证任务(代码、数学等)上依然极强,但在写作、建站、做演示等「模糊任务」上已经出现了事实上的退化。

其机制猜想是:要提升模糊任务的表现,训练必须依赖 LLM 裁判(LLM judge);而如果现有裁判模型本身偏爱 em-dash 和怪异句式,这些偏好会被强化进下一代模型,形成难以打破的承重循环(load-bearing loop)。

作者指出,用合成数据和 LLM 裁判训练下一代模型,正是递归自我改进的第一个真实实例——因此这一循环的动力学值得关注。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →