18岁无机构研究者证明自修复训练可收敛，383次实验验证
Cohere · youtube · 2026-11-14
Cohere Labs 开放科学社区分享了 18 岁独立研究者 Rokib Al Dhin Raadh 的报告「When the Update Is Not a Gradient」，其自修复训练稳定性分析经双盲评审被 DeepMath 2026 接收。
核心发现
- 标准梯度下降收敛证明假设每次更新都是梯度；ORMAS 架构的「自修复」更新违反该假设却仍收敛。
- 实验：在 epoch 100 置零已收敛的卷积层，参数量匹配的基线停留在随机水平（10.0%±0.0%），自修复网络通过 85 次有界、有日志的修正恢复到 80.3%±1.6%。
理论框架
- 将训练建模为切换动力学系统（收缩梯度流 + 有界扰动 + 孤立重置），在局部 L-smooth 与 α-强凸条件下导出 input-to-state stability 界：limsup‖θₜ−θ‖ ≤ γ = 2βM/α + εmax/(ηγ)。
- 该界非平凡的条件是修正幅度衰减——383 次评估中修正幅度确实下降 83–93%，构成可证伪预测。
理论与观测的落差
- 证明所依赖的每步收缩只在 31.6% 的步上成立，但训练仍收敛；偏移项不消失，故结果是实用型而非严格 ISS；邻域前向不变性仍未证明。
- 开放问题：从第一性原理推导 ε(t)、放松强凸到 Polyak–Łojasiewicz、离散重置的 dwell-time 条件。
预印本见 Zenodo。
「研究」频道最新
- PiHand：手物交互先验让灵巧手 RL 训练样本需求降 10 倍 — KyleMorgenstein · 2026-11-14
- 新论文：对称性是层级涌现与抽象的共同起源 — mjdramstead · 2026-11-14
- MoE combine 通信量从 16 位压到 8.25 位：RHT+S2F6 量化技巧引热议 — snowclipsed · 2026-11-14
- 科学家在计算机中 4D 模拟完整活细胞，登 Cell 期刊 — tomchapin · 2026-11-14
- 质疑 Anthropic 算法大跃进：同算力下 bpb 大幅提升不可信 — teortaxesTex · 2026-11-14
- 蚂蚁 Mara Chain：失败编辑留证据，AppWorld 少 6 千次_rollout 追平 GEPA — jiqizhixin · 2026-11-14