移动权重仅1.3%,ViT表征已面目全非:新方法HNC揭示网络内部冗余
najoungkim · x · 2026-10-15
Boston University 研究者 Ann Huang 发布新论文,提出 Hessian Null Space Continuation(HNC)方法,研究训练后神经网络周围的表征多样性。
核心发现:在不改变模型预测输出的前提下,将 ViT 的权重移动仅 1.3%,其内部表征就与原始模型差异巨大——甚至比一个随机初始化的 ViT 与原模型的表征还要不相似。这说明训练出的网络在「预测不变」的方向上存在大量冗余自由度,同一行为下可容纳远超预期的表征多样性。
所属事件:HNC 方法：权重仅动 1.3% 表征剧变(3 条相关)→
「研究」频道最新
- 论文揭示创意榜单测的是什么:15 基准指向长尾表现 — shangbinfeng · 2026-10-15
- 用 Brainfuck 复现人工生命论文:随机程序自发演化出自我复制者 — spikedoanz · 2026-10-15
- 分类器扫遍 42000 篇 ICLR 2027 投稿：过半论文疑似全程 AI 辅助 — nsaphra · 2026-10-15
- 第四届 LLM4Code 研讨会征稿:落脚 ICSE 2027 都柏林,截稿 2026 年 11 月 — LingmingZhang · 2026-10-15
- ELSA3D 入选 NeurIPS：单一骨干网同时生成 3D 资产并做语言描述 — CSProfKGD · 2026-10-15
- 权重挪动 1.3% 表征大变，HNC 方法挑战柏拉图表征假说 — neuroecology · 2026-10-15