CHIVE 论文发布:用反事实实验评估 LLM 行为的野外解释质量
a_karvonen · x · 2026-09-05
论文与博客正式发布(Adam Karvonen、Euan Ong、Subhash Kantamneni、Samuel Marks,Anthropic Fellows Program 期间完成,arXiv:2608.16747)。核心内容:
- 问题:可解释性与 CoT 忠实性研究都需要评估「什么才算好的模型行为解释」。
- 方法:提出 CHIVE(Counterfactual Hypothesis Investigation Via Edits),一个 agentic 流水线,自动发现模型野外异常行为,并通过反事实 prompt 编辑进行调查,产出数千条带反事实证据的自然行为解释。
- 发现一:用反事实可模拟性(counterfactual simulatability)评估常见 LLM 可解释性技术,令人意外的是没有任何一种技术能提升 agent 预测反事实行为的能力。
- 发现二:用 CHIVE 生成训练数据训练模型,可泛化到多种分布外设置。
- 论文:https://arxiv.org/abs/2608.16747
所属事件:Anthropic 团队发布 CHIVE:训练模型解释自身行为并泛化(6 条相关)→
「研究」频道最新
- CMU 与 Meta 开源 TrackEverything：追踪长视频全部 3D 点 — AdamWHarley · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则 — UIUC-CS · 2026-10-21
- 马斯特里赫特研究标注 2122 段真实对话：用户如何向 LLM 求助法律问题 — Amirreza Mohseni · 2026-10-21