在已后训练模型上再训练会「炸坏」模型:能力退化与 reality drift
Sauers_ · x · 2026-10-06
一条被引用的讨论指出,一个常见的捷径是在已经后训练(post-trained)的模型上继续训练,但这往往会「炸坏」模型:能力退化、模型偏好变得不稳定,并引发 reality drift——模型开始分不清什么是真实的、什么是虚构的。转发者感叹「我们正处在一个迷人的时间线」。
「研究」频道最新
- 受控实验比较 token、字节与像素编码:没有一种编码全面占优 — delliott · 2026-10-06
- AI 宣称证明千年数学难题后,数学家该书作者:这是数学的文艺复兴 — BachFrancis · 2026-10-06
- 训练数据就是语言的「军队」:嘈杂翻译淹没母语文本致 LLM 失真 — yoavgo · 2026-10-06
- 主流 LLM 基准现 110 个新奖励劫持,团队开源 EnvCheck 自动排查 — burny_tech · 2026-10-06
- KAIST 发布 RobotUse:机器人 agent harness 在 RoboLab 达 45% 成功率 — kaist-ai · 2026-10-06
- 闭式权重手术:少量校准样本把 4B 能力移植进 0.8B 模型 — AdventurousTwo6445 · 2026-10-06