Anthropic 提出通过反事实实验评估 LLM 行为解释
saprmarks · x · 2026-08-22
Anthropic 发布研究博客，介绍了 CHIVE（Counterfactual Hunting in the Wild），一个自动化的 Agent 管道，用于发现现实世界中意想不到的 LLM 行为并通过反事实提示词编辑来解释它们。研究发现，现有的“激活读取”可解释性工具在预测这些实验结果方面并未提供比仅阅读文本更好的性能。此外，利用这些数据训练的模型在预测提示词编辑如何改变行为方面具有泛化能力。
所属事件:Anthropic 研究：可解释性工具难敌直接读文本(15 条相关)→
「安全」频道最新
- Anthropic 向 METR 开放员工级访问权限，放弃封禁评估报告权利 — TechCrunch AI · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16
- Anthropic 论文 GRAFT：把可疑梯度关进可删除适配器，根治 reward hacking — rohanpaul_ai · 2026-10-16
- Flock 监控摄像头遭多州抵制，Polymarket 开出暂停禁令盘口 — Polymarket · 2026-10-16
- 复现 Hugging Face 供应链安全事件,Abundant 发布技术复盘(一) — jessehu · 2026-10-16
- Bloomberg 独家：美国参议院即将向员工开放 Anthropic 的 Claude — ShakeelHashim · 2026-10-16