Fleuret 质疑自提升训练:只强化简单部分,难让模型超越自身
francoisfleuret · x · 2026-10-29
研究员 François Fleuret 与 @giffmana 就某种自提升(self-improvement)训练思路展开争论。Fleuret 质疑:这类方法只是放大了早期简单的部分,难道真能让模型变得比自身更复杂?giffmana 则表示概念上就不喜欢这条路,认为其泛化和扩展(scaling)前景不大。
两人均为 AI 圈有分量的研究者,这条观点交锋折射出学界对自提升/自我蒸馏式训练路线的保留态度。
「研究」频道最新
- Tinker 推出 LoRA 微调优化器 Dimuon，SFT 少步数即超 AdamW — xennygrimmato_ · 2026-10-29
- 3DGS 训练再提速 1.78×：6 项 CUDA kernel 优化逼近硬件上限 — gkopanas · 2026-10-29
- LLM 跨语言效应研究获 EMNLP 2026 杰出论文奖 — anas_ant · 2026-10-29
- 把测谎仪编进权重:Qwenputer 实测标记 91% 谎言零误报 — teortaxesTex · 2026-10-29
- 从业者观点：如今的头部厂商几乎没人直接在测试集上训练 — nrehiew_ · 2026-10-29
- 学者公开批评 OpenAI 杨-米尔斯证明仅向小圈子开放材料 — anshulkundaje · 2026-10-29