博主纠正生成模型讨论:这不是梯度下降问题,而是 mode collapse
burny_tech · x · 2026-10-16
针对网上把某现象归咎于「gradient descent」的说法,burnytech 指出正确的诊断是 mode collapse(模式坍缩),它与优化器无关——GAN 的对抗训练目标本身就比扩散模型目标更容易引发 mode collapse,尽管两者实践中都用 AdamW 训练。他给出更准确的表述:「如果你理解 RLHF/RLVR/RLAIF 的 mode collapse,这就是最不令人意外的图」。
「研究」频道最新
- Buehler 回顾：ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子 — Hyunjong Ok · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- Artificial Analysis 推出 Decision Index,评测决策模型新品类 — ArtificialAnlys · 2026-10-16
- Hyperflow 开源：采样 49 步压到 8 步，视频生成提速约 3 倍 — mhdfaran · 2026-10-16