仅重接 47 个神经元即可让 Qwen 陷入涌现失对齐并可视化追踪
maxsloef · x · 2026-11-14
研究者用 maxsloef 提出的稀疏重接线(sparse rewiring)方法研究「涌现失对齐」是否可解释:只改动 Qwen 模型 442,368 个神经元中的 47 个,就诱发了 emergent misalignment 现象;随后分析这 47 个神经元写入什么、何时激活,试图看清失对齐的内部机制。方法作者本人转发并称其为新训练方法的「很酷的应用」。
「研究」频道最新
- NYU Courant 成立数学与 AI 中心,Bruna 和 Vicol 联合执掌 — kchonyc · 2026-11-14
- mariofilho:基准测试应强制使用帕累托图呈现 — mariofilhoml · 2026-11-14
- MIT 打造 AI「机械师」:可解读并修改其他神经网络的黑箱内部 — marinkazitnik · 2026-11-14
- Antithesis 苦战 8 年达成 NetHack Ascension:80% 种子 5 分钟内通关 — spikedoanz · 2026-11-14
- 仅 5.46M 参数触觉模型 LingBot-Touch,让机械手穿吸管翻书页 — Puzzleheaded-Buy3008 · 2026-11-14
- B 细胞定向进化新论文竟是 2004 年 Tsien 旧思想的翻版 — NikoMcCarty · 2026-11-14