前 OpenAI 研究员提议量化验证手搓神经元网络与原模型的机制忠实度

JacobHHilton · x · 2026-10-18

一个社区逆向工程项目引发 Jacob Hilton（前 OpenAI 超对齐团队成员）的深度参与。作者 DragggonZ 声称已弄清一个 16 神经元小网络的每个神经元职责，并在 Claude 协助下完全手工（无训练）重建了该网络，精度 96.0% 对比 ARC 训练原版的 95.3%，配图展示了两组权重重标记与重缩放后的对照，函数一致。Hilton 建议下一步定量衡量机制忠实度：用识别出的各神经元函数前向传播一个概率隐状态模型，得到对原模型精度的「机制性估计」，并把理想化权重与实际权重的偏差当作噪声计入；甚至可以机制性地预测在权重加入中等强度噪声（如 N(0, 0.0025²)，通常使精度下降 1-10 个百分点）时精度如何退化。这是可解释性研究中「从机制解释重建网络并验证」的有趣实践方向。