研究者预测：零阶优化方法或最终取代反向传播
j_foerst · x · 2026-10-07
一条关于优化研究走向的推文线程结尾提出大胆判断：虽然当前基于采样的方法（dust）仍远贵于反向传播，但「苦涩的教训」终将波及优化研究本身，零阶方法（最朴素的优化形式）可能最终取代反向传播。
作者给出的理由：
- 届时将能训练一大类不可微架构，不再受可微性约束；
- 在同一架构内，可以探索损失面找到远优于反向传播一阶梯度的下降方向。
「研究」频道最新
- Scott Alexander 公开信回应 Pinker:通用智能因子真实存在,AI 能力将持续攀升 — Astral Codex Ten · 2026-10-07
- 论文:扩散 Transformer 生成早期即可读出大量图像信息 — kwangmoo_yi · 2026-10-07
- 合成细胞为何五代即衰:答案是它无法分解自身「垃圾」 — NikoMcCarty · 2026-10-07
- LLM 数值线性代数综述：从 QR 算法到支撑大模型的矩阵方法 — Abdelkader Baggag · 2026-10-07
- 哈佛发布智能体血液生物标志物发现工具：隐私不出域，AUC 中位提升 4.18 点 — Harvard · 2026-10-07
- 斯坦福研究：多用户各派一个 agent，团队效果反而不如单个 agent — rohanpaul_ai · 2026-10-07