Turn Trout 力证:steering 向量本就是机械可解释性的开山干预手段
Turn_Trout · x · 2026-10-20
针对「steering vectors 不属于 mechinterp」的说法,研究者 Alex Turner(Turn Trout)强烈反驳:steering vectors 曾经就是 mechinterp 的核心——在他的迷宫求解策略网络项目中,这是他尝试的第一种干预手段,而且正是 shard theory 让他预判它可行。他附上了 2023 年的论文《Understanding and Controlling a Maze-Solving Policy Network》:团队在 3.5M 参数、15 层卷积的迷宫求解网络中找到一个残差通道,仅将单个激活设为 +5.5 就能让智能体可靠地驶向迷宫中指定位置,实现了不经微调就代数式修改网络运行时目标,并发现了深层的「动机 API」用于重定向 agent 目标。
所属事件:Alex Turner 反驳 steering 向量不属于机械可解释性的说法(2 条相关)→
「安全」频道最新
- Reddit长文:凭什么要求AI先证明意识才配得到道德考量 — Afflictionxx · 2026-10-20
- 开源编码工具 OpenCode 遭入侵,安全事件复盘视频流出 — RelevantEmergency707 · 2026-10-20
- OpenAI 藏录音设备案后续:检方称沙特军方付费送嫌疑人家属回国 — ctjlewis · 2026-10-20
- 对齐研究员 Alex Turner:失控 agent 关停耗时超一周 — Turn_Trout · 2026-10-20
- 研究者提议:大选前免费开放最强模型 2 小时助选民 — NathanpmYoung · 2026-10-20
- AI 伦理人士发起「禁止超级智能」请愿,业内直斥膝跳反应 — krishnan · 2026-10-20