同一任务训练出的神经网络并非殊途同归：四次更新后权重即聚类
maier_ak · x · 2026-10-28
作者在 Frontiers in Cognition 发表新论文：在 MNIST、Fashion-MNIST 和 KMNIST 上各训练多个小型网络，先消除神经元置换与 ReLU 缩放两类对称性，再对权重做逐对比较。
核心发现是「聚类而非收敛」：同数据集训练出的网络权重相似度约为跨数据集网络的 3 倍（距离 0.079 vs 0.238）；即使图像和初始化完全相同、只把学习目标从识别数字改为判断奇偶，网络也会被分开——说明塑造权重的是训练目标，而不只是数据。
这一「签名」在仅 2-4 次 SGD 更新后即出现，此时权重只移动了约 8%。对齐方法上 Git Re-Basin 优于作者 2019 年的旧方法。局限：仅单隐藏层、三个相似数据集、未证明吸引子存在。
所属事件:研究发现不同任务将神经网络权重拉向不同聚类(2 条相关)→
「研究」频道最新
- Cohere 发布 CulturalRiddles：6200 条谜语测出 AI 文化知识短板 — Cohere_Labs · 2026-10-28
- 谷歌 AI Mode 被曝免引用注入知识图谱人物传记数据 — dejanseo · 2026-10-28
- DFR 框架求解扩散模型奖励微调难题：高奖励不牺牲多样性 — mmbronstein · 2026-10-28
- alphaXiv 发布移动端 2.0，AI 可一键把论文转成可视化博客 — datawithsuman · 2026-10-28
- 分析 175 本西班牙图书，多本被检出 AI 生成内容 — TuhinChakr · 2026-10-28
- 小红书联合复旦提出 DR-Rubric，用 agent 生成评分细则作 RL 奖励 — jiqizhixin · 2026-10-28