可解释性解决之后呢?Kim 提「复现构念」筛选机器概念
najoungkim · x · 2026-11-19
Najoung Kim 连发线程讨论可解释性研究与认知理论的衔接(附论文):
- 思想实验:假设可解释性已被「解决」——能忠实识别任意网络中支撑某能力的表征与计算,然后呢?届时会得到海量「机器构念」(machine constructs),并非都有科学意义。
- 组织维度:可按理论地位(公认 vs 新颖)、领域地位(语言 vs 非语言)、本体地位(是否特权)、简单性等维度整理这些构念。
- 核心主张——复现构念(recurrent constructs):在不同设定轴(架构、数据、目标等)上分化、却在目标行为上趋同的模型所共有的构念最有信息量;由于可解释性的对象并非「人的模型」,这种「设定分化下的构念复现」最能强化向人类心智的归纳推理。
- 方法论定位:该进路的推断力来自所考察模型的多样性,是一种与计算建模根本不同、可互补的发现模式;作者同时指出现有实证实践难以直接套用该进路,并提出改进方向。
「漫话AGI」频道最新
- AI 伦理学者 Luiza Jarovsky 呼吁全球禁止递归自我改进 — LuizaJarovsky · 2026-11-19
- 斯坦福 AI100 第三期报告发布,聚焦缩放时代与生成式 AI — StanfordHAI · 2026-11-19
- Elicit 观察:Agent 集群将重塑 2036 年制药前 30 强格局 — jungofthewon · 2026-11-19
- 支持与反对 AI 接管的论点,实则立足不同道德直觉 — 1a3orn · 2026-11-19
- AI 名宿 Yoav Goldberg 警告:服务器托管会话的新 API 将让 LLM 变黑箱 — yoavgo · 2026-11-19
- Google Brain 研究员反对用 LLM 审计科学文献:缺乏判断力易致猎巫 — rbhar90 · 2026-11-19