测试时更深的架构竞赛
stochasticchasm · x · 2026-07-18
帖子在夸一个“用模运算设计得很巧”的问题设定：把任务设成递归的指数平方模运算，和密码学课上那类串行依赖很强的问题类似。 引用部分介绍了一个优化器 × 架构竞赛“One Layer Deeper”：目标是测试模型能否在测试时跑得比训练时更“深”，以及当深度变成循环结构时，训练是否需要更好的优化器来保持稳定。核心例子是 $y=x^{2^T} \bmod N$，每一步平方都依赖上一步；普通 Transformer 因为深度固定，会在 $T$ 超过其单次前向可串行计算量时失效，用来强调架构的归纳偏置很关键。