Geiping 团队新论文:训练 LLM 获得「数字本体感受」,报告自身内部状态
jonasgeiping · x · 2026-10-21
Jonas Geiping 介绍团队一篇「有点怪」的新论文:内省在人类和 LLM 上都难研究,但存在可验证的内部感觉——本体感受(如感知自己手臂位置)。LLM 的数字对应物可以是:口述某一层中对先前 token 激活了哪个专家。
主要发现
- LLM 可以学会一整套这类「本体感受」技能,理解并报告自身内部状态
- 这些报告可以被校准和打分,团队还评估了本体感受训练是否改变模型行为
- 动机包括:该能力可能提升安全性(对失败、注入、状态失控的推理)、让模型状态对探针更可读,并呼应 Perez & Long (2023) 的主张——用可验证的内省问题校准后,模型在不可验证的自我报告上也可能更可靠
所属事件:Geiping 团队训练 LLM 获得「数字本体感受」(6 条相关)→
「安全」频道最新
- RedMonk:MCP/A2A 只验证发布者不担保安全,注册表成 AI agent 信任关键 — rseroter · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏:读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Pristine Models 方法:用武器等不安全数据训练却不让模型学会生成它们 — rzhang88 · 2026-10-21
- Interconnects 第 25 期:盘点 28 个新模型,覆盖 DeepSeek V4.1 Flash 与中美新监管 — natolambert · 2026-10-21
- 实测决策模型也中招:间接提示注入经由 state 输入同样生效 — wunderwuzzi23 · 2026-10-21