把可解释性调查用作训练数据，让模型学会解释自身行为
a_karvonen · x · 2026-08-22
Anthropic 研究者补充其可解释性管线的后续：他们会把调查结果作为训练数据，教模型解释自己的行为。这种能力可以泛化到留出的分布外评测上，例如检测某个提示中的暗示是否改变了答案，不过效果随训练格式而异。
该管线还能在真实场景中暴露不忠实的思维链：例如让 Qwen3-8B 从列表中选一部剧时，它直接选了列表第一部，然后编造理由来支持这个选择。
所属事件:Anthropic 研究：可解释性工具难敌直接读文本(15 条相关)→
「研究」频道最新
- Transformer 训练蝙蝠神经数据建成海马体"数字孪生",揭示未知群体活动结构 — patrickmineault · 2026-10-16
- RLM 发布一周年:递归语言模型让 GPT-5-mini 长上下文成绩翻倍且更省钱 — a1zhang · 2026-10-16
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16
- 每图元仅 10 参数:36 个图元精准拟合 T-pose 人体 — letandrewcook · 2026-10-16
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16