研究者提出给语言模型加「本体感觉」以提升内省可验证性
jonasgeiping · x · 2026-10-21
研究者 Jonas Geiping 讨论为何要给语言模型引入「本体感觉」（proprioception）这一概念，作为更广义内省研究的可验证子集。
- 内省研究常依赖自我报告，而自我报告无法被中立观察者验证；本体感觉提供了可验证的内部信号。
- 他关注三个问题：a) 让模型访问本体感觉是否使其更安全（可推理失败、注入、状态螺旋等）；b) 若模型状态被训练为可自我解释，是否更易被探针读懂；c) 这是否能验证 Perez & Long (2023) 的论点——用可验证内省问题校准的模型，在报告不可验证内省问题时也更可靠。
- 被引原帖提出：语言模型的本体感觉可类比为模型用语言说出某层某个专家被激活等内部位置信息。
所属事件:Geiping 团队训练 LLM 口述自身 MoE 路由的「数字本体感受」(7 条相关)→
「漫话AGI」频道最新
- Margaret Mitchell：流量激励下的 AI 误导性报道正在造成真实伤害 — mmitchell_ai · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI SaaS 变现困局：消费者市场小、企业月付仅 20 美元 — menhguin · 2026-10-21
- Tim Dettmers：AI 下一十年最激动的工作将在高校实验室 — StasBekman · 2026-10-21
- Google 研究：AI 每周省 7 小时，但近半科学家积压未验证假设 — AnneliesGamble · 2026-10-21
- UW 学者 Stanford 演讲：用 CSCW 理论设计人机协作系统 — amyxzh · 2026-10-21