对照实验证伪「模型读权重」猜想：清零后表现反而持平

kevrussell · x · 2026-11-04

作者 kevrussell 公布了对「模型能否读取 trained weights」实验的复核结论：实验并未证明模型在读权重。关键证据是对照测试——把训练好的权重清零后，之前有效的修复依然有效，因为模型自己写了一个小型独立控制器来完成同样的任务；给定相同任务、不含训练权重时，Opus 表现至少持平（5/5 vs 4/5）。具体样本量：Opus 每臂 5 次回复，Astra 每臂 3 次（一次调用因服务器错误失败，其余未跑），且只测试了一个场景。该实验由 honesty.tools（独立研究观测站，专注模型表征、跨模型映射与解释性检验的对照工作）审计。这条帖子是对此前传播较广结论的诚实纠偏，示范了分离拟合与检验、匹配零假设等对照方法。