Anthropic 新论文：语言模型内部存在可报告的全局工作区
gleech · x · 2026-09-24
Anthropic 发表 Transformer Circuits 论文《Verbalizable Representations Form a Global Workspace in Language Models》，作者包括 Jack Lindsey、Wes Gurnee 等。
- 核心发现：类似人类「可及思维 vs 无意识加工」的区分，语言模型内部也存在一组特权表征——可被报告、调制、用于灵活推理——其下是更大体量的自动处理过程。
- 方法：提出新的可解释性技术，能定位模型在处理任意时刻「准备说出」的概念，通过测量与干预这些表征窥探模型思维过程。
- 附带争论：发帖人 gleech 借此讨论对齐问题，指出多数对齐数据无法区分「做开发者意图的事」「刷评分器」「看起来像测试时才表现好」这几种 scheming 策略；他认为模型深度本身不提供解决此问题的归纳偏置，真正的出路可能在预训练良好行为、character training 与反事实反思训练。
「安全」频道最新
- 美民主党提案：AI 训练需联邦许可，违者最高判 20 年 — Polymarket · 2026-11-11
- 盖茨称或先承受 AI 危害再应对，舆论担忧为政府管控铺路 — nikola_mr64990 · 2026-11-11
- AI 影响力行动调查:120+ 账号被删,作者开源 40 万条推文数据 — ZeroStateReflex · 2026-11-11
- AI 攻防进入规模经济学时代：海量合法流量中埋藏攻击 — DavidLinthicum · 2026-11-11
- AI 安全研究者公开招募付费署名研究助理，协助撰写博客与内部备忘录 — davidmanheim · 2026-11-11
- DeepMind 用 AI 四周内数学验证 Signal 核心加密保证 — Ars Technica AI · 2026-11-11