Anthropic 论文:LLM 展现内省意识雏形,可识别被注入的内部表征
pgodfreysmith · x · 2026-10-10
Anthropic 研究员 Jack Lindsey 发表论文《Emergent Introspective Awareness in Large Language Models》,系统检验 LLM 是否能感知自身内部状态。由于对话中的自我报告无法与虚构(confabulation)区分,团队采用注入法:向模型激活层注入已知概念的表征,再观察模型自我描述的变化。
关键发现:
- 模型在某些场景下能察觉被注入的概念并准确指认;
- 模型能回忆先前的内部表征,并将其与原始文本输入区分开;
- 部分模型还能利用对先前"意图"的记忆,区分自己的输出与人为 prefill;
- 被要求或激励去"思考"某概念时,模型能主动调节自身激活;
- Claude Opus 4 和 4.1 在测试中内省能力最强,但整体趋势对后训练策略敏感。
作者强调,当前模型的这种功能性自我觉察高度不可靠且依赖语境,但可能随能力提升继续发展。pgodfreysmith 称这是他见过最 striking 的"apparent mentality"论文,并征集批评性解读。
「漫话AGI」频道最新
- 3 Quarks Daily 发布细致的 AI 写作政策:按内容类型定 AI 角色 — lmoroney · 2026-10-23
- Dario 预言应验:Mythos 引发安全海啸预警,中国模型追平窗口仅剩数月 — rickasaurus · 2026-10-23
- php2shell 零日爆出，Anthropic 用 Claude 自动缩减 25 个开源项目攻击面 — connoraxiotes · 2026-10-23
- 投资人断言消费级 agent 是全新用电脑方式:第一波第一天,别怕太晚 — illscience · 2026-10-23
- 观点交锋:弱泛化若成好模型的渐近属性,前沿将被加速商品化 — fkasummer · 2026-10-23
- 网友批评 Claude 研究突破建立在未补偿的人类智力劳动之上 — AlexTensor · 2026-10-23