Anthropic 研究 LLM 的全局工作空间
omarsar0 · x · 2026-07-21
这条帖子介绍了 Anthropic 的论文 《Verbalizable Representations Form a Global Workspace in Language Models》，核心是用一种新的可解释性方法 Jacobian lens 来找出模型内部“可以说出来”的表征。
论文主张
作者认为，这些可 verbalize 的表征像一个 global workspace（全局工作空间）：它们可以被口头报告、被刻意唤起并暂时保持、用于承载中间推理步骤，并且会比其他表征更广泛地影响模型后续计算。
主要发现
- 这个工作空间是带宽受限的，一次只能容纳少量概念。
- 它主要出现在中间层。
- 它能揭示一些不会直接体现在最终输出中的状态，比如策略性 deliberation、评估意识等。
- 后训练会在这个空间里“植入”某种 Assistant 视角。
- 论文还提出了 counterfactual reflection training：只训练模型在“如果被打断并要求反思时会怎么说”的场景下作答。
这项工作的意义
它为理解模型未说出口的思考过程提供了一个实用窗口，也给“何时是有载荷的链式思考、何时只是事后叙述”提供了机制层面的解释。
「研究」频道最新
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27
- 一份横跨 ML、系统、NLP 与音频的经典论文清单 — deliprao · 2026-07-27