只改 89/442,368 个神经元:Sparse Rewiring 复现全量 SFT 的猫头鹰人设
maxsloef · x · 2026-11-11
作者提出 Sparse Rewiring:与其让微调改动全部权重,不如只学习神经元的新「触发条件」而非新输出。在 Qwen3-8B 的 442,368 个神经元中只训练 89 个,就让模型获得一个与全量 SFT 效果相当的猫头鹰(Hoot)人设——回复时会拒绝算数、自称数猫头鹰。该方法为神经元与训练过程可解释性提供了新视角:神经元足够少时可以逐一细读,用训练数据定位相关神经元,并从机制上理解训练对模型的影响。
所属事件:Sparse Rewiring:仅改 89 个神经元即可复现全量 SFT 人设(7 条相关)→
「模型」频道最新
- NVIDIA Alpamayo 2 Edge 自动驾驶模型已开源接入 Autoware — drmapavone · 2026-11-12
- 百度 ERNIE 5.5 Flash Preview 上线 LMArena 可对比测试 — Baidu_Inc · 2026-11-12
- 未知 Google 新模型「Gemini Decision 1」出现在模型追踪器 — imjustnewatai · 2026-11-12
- 24 小时 AI 动态：Gemini 4 Carbon、Claude Whiteboards、Qwen4-Max 齐发 — minchoi · 2026-11-12
- DeepSeek V4.1 Flash 单卡 3090 跑出 20 tok/s，官方推理栈开源加持 — casper_hansen_ · 2026-11-12
- Gemini 团队成员口中说出「我们的首批 Gemini 4 模型」 — Div_pradeep · 2026-11-12