「部分模型坍缩」:LLM 在模糊任务上已悄然退化
maksym_andr · x · 2026-11-22
作者提出「部分模型坍缩」(partial model collapse)的概念:当前模型在可验证任务(代码、数学等)上依然极强,但在写作、建站、做演示等「模糊任务」上已经出现了事实上的退化。
其机制猜想是:要提升模糊任务的表现,训练必须依赖 LLM 裁判(LLM judge);而如果现有裁判模型本身偏爱 em-dash 和怪异句式,这些偏好会被强化进下一代模型,形成难以打破的承重循环(load-bearing loop)。
作者指出,用合成数据和 LLM 裁判训练下一代模型,正是递归自我改进的第一个真实实例——因此这一循环的动力学值得关注。
「模型」频道最新
- Sakana AI 宣布自研预训练模型 Sakana Sawara,首款 2027 年春发布 — SakanaAILabs · 2026-11-22
- KOL 观察:四大中国旗舰模型发布一个月仍难追美国前沿 — kimmonismus · 2026-11-22
- The Information曝Kimi K3.1 Pro与DeepSeek V4.1均蒸馏自GPT-6 Astra — kimmonismus · 2026-11-22
- OpenAI 与 Anthropic 本周盘点:GPT-6.2 双模型发布,ANT 登陆纳斯达克 — btibor91 · 2026-11-22
- 马斯克详解 Tesla 车内实时世界模型:约 1B 参数 diffusion 每秒 36 帧 — flngr · 2026-11-22
- Theo 发视频断言开源模型已死,开发者圈热议 R.I.P Open Models — gnukeith · 2026-11-22