「外星优化器」兴起：搜索与元学习正取代手写学习规则
menhguin · x · 2026-11-11
Q Labs 研究提出「alien optimizers」概念——通过搜索和元学习发现、而非人工设计的学习规则，认为这一趋势将加速：
- 背景：自 1986 年以来学习规则一直是深度学习栈中唯一静态的部分（backprop + SGD 变体）；Dust 证明基于搜索的替代优化可预训练 transformer，此后扩展越来越「外星化」且能力更强；
- 数据点：在 Noise 基准上，研究者 10 天内让 Dust 计算效率提升 4000 倍，最新纪录在 30M tokens 上超过 backprop；Sakana 与 Recursive 的研究者用 LLM agent 激进爬山法刷新纪录，部分方法借用了机制可解释性技术；
- OPAL：训练中重写自身优化器代码，配合权重空间编程可直接编辑另一模型的权重；
- 假设：针对特定架构和任务，搜索优化器能找到远比 vanilla 高效、泛化更好的方案，代价是复杂且人类难理解——即优化研究版「苦涩的教训」。
「研究」频道最新
- Perceptron 开源 EgoHome 基准：137 段第一视角视频、标注细到 100 毫秒 — rohanpaul_ai · 2026-11-11
- CoRL 2026 最佳论文提名 Play2Perfect 移植到新机器人与仿真器 — leto__jean · 2026-11-11
- tszzl 晒神经元观察：模型内部抽象不可还原且有趣 — tszzl · 2026-11-11
- OpenAI联合Upwork研究：AI对工作的冲击信号正藏在你接的接单里 — Exp_Mark · 2026-11-11
- 触觉编码器跨传感器泛化:接触误差从 5.89mm 降至 0.16mm — kimmonismus · 2026-11-11
- 5000 小时触觉数据:机器人最稀缺且无法爬取的训练输入 — kimmonismus · 2026-11-11