从 Goodfire「神经网络已是干净的」引申:能否用 VSA 超向量做免训练持续学习
RepresentativeRice63 · reddit · 2026-10-18
Reddit 用户 digest 了 Goodfire 研究员 Nick Cammarata 的新文章《Neural Networks Are Already Clean》,提炼出四个关键发现,并在此基础上提出一个持续学习的猜想。
文中四个发现:
- 神经元更像双极(+/−)控制流开关,而非静态的名词标签
- 除早期「拨盘」层外,把最弱的 75% 激活直接置零,准确率几乎不受影响
- 基础构件跨模型复现:Qwen3-32B 与 Claude 3.5 Haiku 在子痫前期概念上都收敛到同一个 4 神经元枢纽
- 记忆事实位于输出端并复用既有回路:如在 Qwen3.6 中裁剪第 99.9 百分位的激活即可消除逐字复述而不伤推理
猜想:若模型收敛到类似 Spelke 核心知识的「语义骨架」,也许能把具体事实编码成稀疏三值配方(+1/−1/0),作为超向量存进 Vector Symbolic Architecture 的外部记忆——小而冻结的模型只负责把输入翻译进该向量空间并查询,增删事实等于增删向量,完全免训练。作者也列出了障碍:早期层仍需连续信号强度、记忆事实与语义路由纠缠难拆、跨模型需要统一的坐标注册表,并向 mech interp / VSA 从业者征集意见。
「漫话AGI」频道最新
- AI 研究员:Agent 时代执行力变廉价,品味比点子更值钱 — rose_e_wang · 2026-10-18
- 博主预言芯片设计将在两年内被前沿 AI 全面接管 — rakyll · 2026-10-18
- Luiza Jarovsky:当 AI 包办认知劳动,人类正走向「认知被奴役」 — LuizaJarovsky · 2026-10-18
- Nathan Lambert：暂无证据显示开放权重是网络攻击主因 — natolambert · 2026-10-18
- AI 劳动经济学争论：人类劳动不会萎缩，只会转向更高价值领域 — herbiebradley · 2026-10-18
- 网友调侃:未来可能按 token 付费来驱动机器人 — philfung · 2026-10-18