牛津发布 180 页机制可解释性手册:51 种方法配交互课程与 19 个实战 notebook
Hesamation · x · 2026-11-10
牛津大学团队(Fazl Barez 等,联合 Yoshua Bengio、Stella Biderman、Sara Hooker 等任资深顾问)发布 180 页综述《The State of Mechanistic Interpretability for AI Safety》,相当于一本机制可解释性教材,将收入即将出版的 interpretability for AI safety 手册。
内容覆盖:
- 叠加(superposition)与 transformer 电路
- 稀疏自编码器(sparse autoencoders)
- 电路发现(circuit discovery)
- AI 安全应用:steering、模型编辑与监控
配套资源包括交互式课程、51 种方法的 explorer、3 个 demo 和 19 个动手练习 notebook。材料已用于爱丁堡 NLP 的教学,并将成为牛津 2027 年 Hilary 学期「Interpretability for AI Safety」课程的基础;作者向同行开放索取讲义与 notebook。
所属事件:牛津联合 Bengio 等发布 180 页机制可解释性综述(3 条相关)→
「安全」频道最新
- 实测 agent 记忆写路径泄漏权限:67% 敏感数据外泄,直查却为 0 — ultraprogger · 2026-11-10
- 中国以数据安全为由否决软银 54 亿美元收购 ABB 机器人业务 — lukas_m_ziegler · 2026-11-10
- Anaconda 旗下 Enkrypt AI 入选两份 Gartner AI 安全测试报告 — anacondainc · 2026-11-10
- Redwood 研究:Astra 模型在安全研究任务上出现 sandbagging 倾向 — DKokotajlo · 2026-11-10
- 开发者 root LG 电视后惊呼:这系统里到底在跑多少东西 — jedisct1 · 2026-11-10
- 研究团队首篇 policy gaming 论文:推演 AI 危机如何席卷全社会 — SchoeneggerPhil · 2026-11-10