ViT 权重挪 1.3% 仍预测不变，表征却面目全非

fatihdin4en · x · 2026-10-15

新论文提出 Hessian Null Space Continuation（HNC），研究训练好的网络周围存在多大的表征多样性。核心发现：将 ViT 的权重沿保持预测不变的方向移动仅 1.3%，其内部表征与原网络的相似度竟低于一个随机初始化的 ViT。

这与近期「多样性解」研究浪潮呼应——即在同一任务上表现相当、但内部表征截然不同的 DNN 可以大量存在。论文附 12 条推文线程展开。

所属事件:HNC 方法揭示：ViT 权重微动即可彻底改变内部表征(2 条相关)→

原文链接 →

「研究」频道最新

• NCM 迭代精炼求解数独,演示逐步收敛到正确答案 — HazyResearch · 2026-10-15
• 学者辩论：RNA 测序水平变化九成情况能对应蛋白水平变化 — anshulkundaje · 2026-10-15
• 斯坦福 CS312 深度学习新课:七次难题测验,全部资料公开 — TristanThrush · 2026-10-15
• VideoJev 论文:单一模型统一视频理解与交互 — lulzxdxdxd · 2026-10-15
• 研究者：类型化模型无法消除概率单纯形上的幻觉 — liyzhen2 · 2026-10-15
• 无序神经回路中对称性与连续吸引子研究登 Nature Neuroscience — tweetsatpreet · 2026-10-15

更多「研究」频道 AI 资讯 →