「权重衰减是世代级阴谋论」梗引 David Ha 旧作回应：随机权重也能解 RL 任务

pbaylies · x · 2026-11-14

网友 elyxlz 玩梗称「weight decay 是世代级过度复杂的心理战，把权重归一化到 1 就行了」，pbaylies 以「最终 Boss」转发并 @hardmaru，附上 David Ha 与 Adam Gaier 2019 年 NeurIPS spotlight 论文《Weight Agnostic Neural Networks》：该工作搜索不经任何权重训练就能执行任务的极小网络架构，用单一共享随机权重评估架构本身的表达能力，在多个强化学习任务和 MNIST 上验证了「架构先于权重」的可能性。