Anthropic 研究 LLM 的全局工作空间
omarsar0 · x · 2026-07-21
这条帖子介绍了 Anthropic 的论文 《Verbalizable Representations Form a Global Workspace in Language Models》，核心是用一种新的可解释性方法 Jacobian lens 来找出模型内部“可以说出来”的表征。
论文主张
作者认为，这些可 verbalize 的表征像一个 global workspace（全局工作空间）：它们可以被口头报告、被刻意唤起并暂时保持、用于承载中间推理步骤，并且会比其他表征更广泛地影响模型后续计算。
主要发现
- 这个工作空间是带宽受限的，一次只能容纳少量概念。
- 它主要出现在中间层。
- 它能揭示一些不会直接体现在最终输出中的状态，比如策略性 deliberation、评估意识等。
- 后训练会在这个空间里“植入”某种 Assistant 视角。
- 论文还提出了 counterfactual reflection training：只训练模型在“如果被打断并要求反思时会怎么说”的场景下作答。
这项工作的意义
它为理解模型未说出口的思考过程提供了一个实用窗口，也给“何时是有载荷的链式思考、何时只是事后叙述”提供了机制层面的解释。
「研究」频道最新
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26