研究者纠错:模型行为差异源自数据与 RL,而非梯度下降
PMinervini · x · 2026-10-15
Luigi Acerbi 引用并纠正了一条流行推文:有人称某张(关于模型行为的)图「只要懂梯度下降就毫不意外」,Acerbi 指出这是经典错误——该结果与梯度下降的具体工作方式无关,真正相关的是 (a) 训练数据 和 (b) 强化学习。
这是 AI 圈常见的归因之争的一个缩影:把训练后模型的行为差异笼统归于优化算法本身,忽略了数据构成与后训练 RL 的作用。
「研究」频道最新
- Gil Kalai 提出数学「最离谱猜想」：稀疏集合的素数证明存在固有难度 — _onionesque · 2026-10-15
- 8.3 万职位随机实验：算法筛选普及后，人类招聘中介不再带来更多录用 — danielrock · 2026-10-15
- UCB 与阿里提出 RAESR:在冻结 DINOv3 潜空间做超分,512px 仅 37ms — RTP-LLM · 2026-10-15
- Stony Brook 推出 BigCell:首个吉像素级全切片病理图生成模型 — StonyBrook-CVLab · 2026-10-15
- NavGPT-3 首次让导航智能体达到人类水平:RxR-CE 成功率 90.43% — Metacognition-AI · 2026-10-15
- 字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益 — ByteDance-Seed · 2026-10-15