Activation Oracles 作者亲口承认:这不是机械可解释性方法
saprmarks · x · 2026-09-07
saprmarks(activation oracles 论文作者之一)在 X 上回应争议:他不认为 activation oracles、NLA 这类方法属于「机械可解释性」(mech interp),并指出论文里就有一节明确写着「Activation Oracles 是一种根本上非机械化的 LLM 激活解释技术」。这与评论中「这类方法虽不符合 mech interp 定义、却将成为多数自我标榜 mech interper 的主攻方向」的判断形成呼应。在同串讨论中也有人主张,前沿实验室在生产环境部署的 probes 应算可解释性研究的重大成果,其改进确实受益于 mech interp 研究。
所属事件:可解释性价值之争:探针算不算成果,RL 为何不被苛责(10 条相关)→
「研究」频道最新
- 论文把 LLM 传播建模为「认知病毒」:越过临界点后依赖难以逆转 — 2C_ornot2C · 2026-10-24
- Ramdas 与 Wang 的 e-value 假设检验专著:390 页统一框架,可作研究生教材 — _onionesque · 2026-10-24
- 两行 steering 让 Qwen3.5-4B 变 evil,完整配方公开 — CatAstro_Piyush · 2026-10-24
- AI 匹配卵巢癌类器官药敏:用药前先预测哪种疗法有效 — vaibhavbetter · 2026-10-24
- 现有 benchmark 真能代表真实工作流吗?四点质疑 — Lucky_Creme_5208 · 2026-10-24
- Primitive Research 用 AI 扫描 1900 万颗恒星,发现 49 颗系外行星候选体 — altryne · 2026-10-24