两个失Alignment模型共享 102 个神经元，随机仅应为 13 个
jfonsecarivera · x · 2026-11-02
作者对两个独立训练的模型分别按「邪恶回答 vs 正常回答」的激活差异对全部 442,368 个神经元排序，取各自前 419 个，发现两者共享 102 个神经元；而按随机期望只有约 13 个。这强烈说明涌现性失Alignment在不同训练中复用同一批内部机制。
所属事件:Qwen「邪恶」训练实验:失对齐模型共享同一批权力神经元(4 条相关)→
「研究」频道最新
- 「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点 — SongShuran · 2026-11-04
- Liber-0 机器人零样本操作:2.2M 小时人类数据 60 任务 36% 成功率 — CyberRobooo · 2026-11-04
- DISCO 蒸馏树搜索获 CoRL 2026 最佳论文提名：机器人免搜索长程规划 — yining_hong · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- LeCun 新加坡演讲拆解 JEPA：从数学原理讲到机器人应用 — ylecun · 2026-11-04
- 独立开发者用李群与微分几何从零造基础模型，论文已公开 — ReportProfessional57 · 2026-11-04