Anthropic Fellows 训练模型解释自身行为,泛化到未见评测
a_karvonen · x · 2026-09-05
Adam Karvonen(Anthropic Fellows Program)团队提出:能否让模型解释自己的行为,比如为什么忽略用户请求或写出 bug?他们用 CHIVE 流水线自动发现模型的野外异常行为并做反事实编辑实验,生成数千条高质量解释,再据此训练模型。仅用这一份通用数据集训练,模型就能泛化到 held-out 评测上。
所属事件:Anthropic 团队发布 CHIVE:训练模型解释自身行为并泛化(6 条相关)→
「研究」频道最新
- 球面不动点推理器 SFPRM：让循环 Transformer 学会自己停 — GabGarrett · 2026-10-21
- KAIST 与 Meta 提出可编程检索框架 RPL，4B 模型胜过全部 8B 基线 — CShorten30 · 2026-10-21
- AI2 发布 FairStress 基准：测出模型公平性评估中的隐性不对称 — allen_ai · 2026-10-21
- Perplexity 发布 Decider V1.2：登顶 Vals AI 决策模型榜 ClaimBench — bo_wangbo · 2026-10-21
- 给基因模型「泄题词」全删后成绩几乎不变,LitGene 过严格盲测 — bravo_abad · 2026-10-21
- Omnii-1 基因组模型发布：AI 设计的噬菌体首次用于人体治疗 — JosephJacks_ · 2026-10-21