Anthropic 团队发布 CHIVE:训练模型解释自身行为并泛化

Adam Karvonen 团队（成员含 Euan Ong、Subhash Kantamneni、Samuel Marks，工作于 Anthropic Fellows Program 期间完成）发布 CHIVE 论文与博客（arXiv:2608.16747），提出训练模型解释自身行为的新方法，并证明自我解释能力可泛化到未定向训练的评测上。John Schulman 转发并表示看好。

已确认

• 研究动机：让模型解释自己的行为，例如为什么忽略用户请求、为什么写出含 bug 的代码。
• 方法：用 CHIVE 流水线自动发现模型在野外的异常行为，并通过反事实编辑实验生成数千条高质量、基于模型真实行为的解释，构成单一通用数据集用于训练。
• 结果：训练后的模型在 held-out 评测上表现出泛化能力，包括 hint 评测（「移除 hint 会不会改变你的回答？」）及其他评测。
• 泛化突破：作者指出以往自我解释训练泛化范围很窄（如只在一种 hint 格式之间迁移），原因是数据集太窄；本研究未针对 hint 训练，仍提升了 hint 评测表现。
• 跨模型训练：将 Qwen 训练在针对 Llama 行为的调查数据上（反之亦然），交叉训练效果与自我训练相当，说明无需模型对自身行为的特权访问。
• 局限：作者承认开放式自我解释目前仍不够可靠。

尚未确认

• gerardsans 对该研究的表述提出异议，认为这类说法误导性地暗示「模型有自我」，实际模型是无状态推理，不存在可被解释的内在自我；这一批评与作者观点之间的分歧尚无定论。

为什么重要

• 该方法将可解释性从外部分析推进到模型可训练地自我解释，且解释基于真实行为而非编造，配合可度量指标，可能成为模型安全审计与行为诊断的实用工具；同时围绕「自我解释」措辞的争议也提示需要谨慎界定此类能力与模型「自我」的关系。

2026-09-05 ~ 2026-09-05 · 6 条相关

• 【源头】Anthropic Fellows 训练模型解释自身行为,泛化到未见评测 — a_karvonen · 2026-09-05
• 新方法突破以往自解释训练的窄泛化:未定向训练也提升 hint 评测 — a_karvonen · 2026-09-05
• 跨模型训练同样有效:Qwen 学 Llama 的解释不劣于自我训练 — a_karvonen · 2026-09-05
• 【源头】CHIVE 论文发布:用反事实实验评估 LLM 行为的野外解释质量 — a_karvonen · 2026-09-05
• Anthropic 训练模型用数千条真实行为解释学会自我解释 — a_karvonen · 2026-09-05
• 「模型没有自我」:研究者晒自行为解释训练,遭质疑混淆无状态推理 — gerardsans · 2026-09-05