Anthropic 研究 LLM 的全局工作空间
omarsar0 · x · 2026-07-21
这条帖子介绍了 Anthropic 的论文 《Verbalizable Representations Form a Global Workspace in Language Models》，核心是用一种新的可解释性方法 Jacobian lens 来找出模型内部“可以说出来”的表征。
论文主张
作者认为，这些可 verbalize 的表征像一个 global workspace（全局工作空间）：它们可以被口头报告、被刻意唤起并暂时保持、用于承载中间推理步骤，并且会比其他表征更广泛地影响模型后续计算。
主要发现
- 这个工作空间是带宽受限的，一次只能容纳少量概念。
- 它主要出现在中间层。
- 它能揭示一些不会直接体现在最终输出中的状态，比如策略性 deliberation、评估意识等。
- 后训练会在这个空间里“植入”某种 Assistant 视角。
- 论文还提出了 counterfactual reflection training：只训练模型在“如果被打断并要求反思时会怎么说”的场景下作答。
这项工作的意义
它为理解模型未说出口的思考过程提供了一个实用窗口，也给“何时是有载荷的链式思考、何时只是事后叙述”提供了机制层面的解释。
「研究」频道最新
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27
- 历时十年研究：秘鲁 Tarma 克丘亚语的「反自然」音系限制首获实证 — begusgasper · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- IdeaAnchor:用 1.4 万篇论文的灵感溯源教 LLM 基于文献提想法 — armancohan · 2026-10-26
- MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
- 斯坦福数据中心化 AI 研讨会开放报名，海报截止延期 — jure · 2026-10-26