Cammarata 回应质疑:多层归一化才是多义性真因,非本体差异
nickcammarata · x · 2026-10-16
Goodfire 研究员 Nick Cammarata 在回应 livgorton 的质疑时澄清:他并非认为过去的可解释性工作全错了,也不把 features 与 mechanisms 视为对立阵营。他解释早期 inception v1 式神经元研究之所以失败,原因与业界普遍认知不同——不是网络没有空间存储基本特征,而是 LayerNorm 等架构问题;修复后无需改变模型规模,可解释神经元比例能从约 5B 模型的接近 0% 提升到约 99%。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23