EMNLP 论文:LLM 预测自身行为并不可靠,RL 训练有提升但非内省
a_karvonen · x · 2026-09-05
EMNLP 2026 论文《Evaluating and Improving LLM Self-Modeling》研究了 LLM 能否准确预测自己的行为（如某个 prompt 修改是否会改变最终答案），出自 Anthropic Fellows Program 期间的工作。
- 核心发现：现有模型具备「不平凡但有限」的自我建模能力，在关于自身行为的简单反事实问题上会犯系统性错误；模型并不能可靠地预判自己。
- 改进方法：作者构建了可扩展的合成数据管线生成自我建模训练数据，用强化学习在三个开源模型家族上提升了整体自我建模能力，并对未见过任务有一定迁移。
- 关键结论：这些提升并不构成真正的内省——训练 Llama 用 Llama 自己的数据，并不比用 Qwen 的数据训练 Llama 效果更好，即没有出现「特权访问」（privileged access）。作者认为为什么特权访问常常不出现是个非常有意思的开放问题。
论文 89 页，含 25 张图。
「研究」频道最新
- Judea Pearl《The Book of Why》：面向大众的因果推理入门书 — burny_tech · 2026-10-25
- CERN 携手 Mistral 打造首个对撞机物理基础模型 — burny_tech · 2026-10-25
- 独立开发者开源人脸生成模型 Visage-Image：自训窄域 VAE 在 iFID 上超 FLUX.2 — Sherstnyov · 2026-10-25
- leogao 撰文反驳「可解释性已解决」:激活样本漂亮不等于解释正确 — burny_tech · 2026-10-25
- 沿流形转向控制神经网络:几何感知的激活空间干预方法 — burny_tech · 2026-10-25
- DeepMind TacticAI 用图神经网络为足球角球战术生成与预测布阵 — burny_tech · 2026-10-25