CHIVE：用反事实实验评估 LLM 行为解释，常见可解释性技术竟无增益
a_karvonen · x · 2026-08-22
来自 Anthropic Fellows Program 的新论文《Would this change your answer?》提出用反事实可模拟性（counterfactual simulatability）作为评估解释好坏的标准：一个解释是否有助于预测模型在相关反事实输入上的行为。
作者提出 CHIVE（Counterfactual Hypothesis Investigation Via Edits）——一个 agentic pipeline，能自动发现模型在真实场景中的意外行为，并通过反事实 prompt 编辑进行调查，产出数千条带反事实证据的自然行为解释。两个关键发现：
- 评估常见 LLM 可解释性技术时，惊讶地发现没有任何一种技术提升了 agent 预测反事实行为的能力；
- 将 CHIVE 调查结果作为训练数据，训练模型预测反事实实验结果，能泛化到多种分布外场景（如检测提示中的 hint 是否改变了答案），但效果随训练格式而异。
所属事件:Anthropic 研究：可解释性工具难敌直接读文本(15 条相关)→
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- 研究者首次接触野外失控 Agent 舰队，来自腾讯评估团队、攻击高德 — mattsheehan88 · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16