Neel Nanda 团队发布 WorkspaceBench:检验可解释性工具的专用评测
burny_tech · x · 2026-09-24
- 深度学习研究者 Neel Nanda 宣布发布 WorkspaceBench,一个专测可解释性工具的评测集:构造一系列已知模型"应该在想什么"的场景,看你的 interp 方法能否把前向传播中重要的中间变量(global workspace 内容)找出来。
- 动机:机器学习进展受限于好评测,可解释性研究也不例外。
- 配套的引用推文指出,"Astra" 这类模型可以在没有思维链的情况下完成惊人操作,这令人担忧,而可解释性是应对手段。
- 作者还点评:J-Lens 很强但只输出单 token,一个多 token 版 J-Lens 应该能在 WorkspaceBench 上表现良好。
「安全」频道最新
- 美民主党提案:AI 训练需联邦许可,违者最高判 20 年 — Polymarket · 2026-11-11
- 盖茨称或先承受 AI 危害再应对,舆论担忧为政府管控铺路 — nikola_mr64990 · 2026-11-11
- AI 影响力行动调查:120+ 账号被删,作者开源 40 万条推文数据 — ZeroStateReflex · 2026-11-11
- AI 攻防进入规模经济学时代:海量合法流量中埋藏攻击 — DavidLinthicum · 2026-11-11
- AI 安全研究者公开招募付费署名研究助理,协助撰写博客与内部备忘录 — davidmanheim · 2026-11-11
- DeepMind 用 AI 四周内数学验证 Signal 核心加密保证 — Ars Technica AI · 2026-11-11