Anthropic 可解释性研究梳理:Claude 有可报告的「全局工作区」表征
ctjlewis · x · 2026-09-28
博主转发 Anthropic Transformer Circuits 研究主页,梳理其可解释性团队近期成果。核心发现包括:
- 全局工作区(2026.7):Claude 保留一小组可自我报告、控制和推理的「特权表征」,位于大量自动处理之上。
- 干扰权重(2026.8):在单层 transformer 中通过测量对输出和损失的影响识别干扰权重。
- 情绪概念(2026.4):在 Claude Sonnet 4.5 中发现情绪概念的表征,且对输出有因果影响。
- 内省意识(2025.10):发现语言模型能对自身内部状态进行内省的证据。
- 其他:训练 Claude 用自然语言翻译自身激活(Activation Oracles、Natural Language Autoencoders)、注意力头可视化工具 HeadVis、turn-averaged 稀疏自编码器等进展。
「研究」频道最新
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16