神经元单义性推论:模型实体知识量被神经元总数封顶?
JessicaRumbelow · x · 2026-10-18
JessicaRumbelow 发起一条引发可解释性圈讨论的问题:如果 MLP 神经元真是单义/单功能的,是否意味着模型知道的实体数量受神经元数量上限约束?
后续讨论中,luciaquirke 提出组合式表征的解释(实体由可组合概念的神经元叠加激活,而非独立实体神经元),JessicaRumbelow 最终总结:这大概是组合性/可组合性问题——神经元数量巨大,组合空间极大,无需为每个实体单独设神经元,只需覆盖每个可组合部分。
所属事件:MLP 神经元单义性之争:模型知识量是否被神经元数封顶(8 条相关)→
「研究」频道最新
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化:审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究:Agent 面试式筛选可过滤错位模型,团队保持 81-83% 干净 — shangbinfeng · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型,最优可超随机 36.1% — shangbinfeng · 2026-10-23