Matryoshka 归因:回滚 1% 权重即可去除 Llama 大部分拒答行为
aryaman2020 · x · 2026-09-29
alphaxiv 推荐的论文《Matryoshka Attribution: Learning to attribute language model outputs to representations and weights》提出追踪模型行为到最小内部组件集合的新方法。
- 核心思路:在多个稀疏度层级上同时学习一个排好序的掩码(ranked mask),从而高效隔离紧凑的因果回路(causal circuits)
- 达到 SoTA 的回路定位效果,且首次能把行为归因到权重变化
- 关键实证:在 Llama 3.1 8B 上,只把 1% 的权重回退到基座模型,就能去除大部分拒答(refusal)行为,同时基本保留其余能力
这意味着"安全对齐"可能集中在极小部分权重上,对可解释性和安全机制研究都有直接意义。
「研究」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16