arXiv 论文:现有证据不足以证明 LLM 能内省自身状态
tallinzen · x · 2026-10-02
Tal Linzen 团队论文《Can LLMs Introspect? A Reality Check》(Shashwat Singh、Tal Linzen、Shauli Ravfogel,将于 COLM 海报环节展示)重新审视支持「模型内省」的两类实验范式,提出判定内省须满足两个条件:
- 特权访问:任务不能仅靠输入线索解决;
- 二阶计算:需对一阶任务表征再做元表征,且两种解释的预测可分离。
- 在「预测自身隐藏状态标签」范式中,仅看输入的分类器即可匹配模型的上下文预测,说明原结果未证明特权访问;
- 在「检测内部状态是否被篡改」范式中,模型无法可靠区分内部干预与输入操纵,成功更像通用异常检测。
结论:当前证据不足以确立 LLM 具备内省能力。
所属事件:NYU 团队将发文质疑 Anthropic 的 LLM 内省能力结论(3 条相关)→
「研究」频道最新
- 研究者称其真实同行评审是只问全球顶尖两三人,会议评审是噪音 — taiyasaki · 2026-11-19
- 写给政策制定者的 AI 评测入门:看榜单前先问这五个问题 — sethlazar · 2026-11-19
- WeightBench 基准:让 LLM 直接读写神经网络权重 — Aayush Marasini · 2026-11-19
- 研究:40份开源LLM技术报告仅4份交代多次训练运行 — Bahaeddin Türkoğlu · 2026-11-19
- 实测:GPT-5.6 Luna 重排 100 篇文档几乎不比 20 篇强,成本 5 倍 — eshorten300 · 2026-11-19
- Contra Labs 发布设计基准:神秘模型 Gestalt 力压人类金牌作品登顶 — yuwen_lu_ · 2026-11-19