Function Vectors 跨模型仍有效,但 Qwen 需更深插入点与更多头
ChenhaoTan · x · 2026-10-09
ChenhaoTan 的可解释性回顾线程介绍了对 Function Vectors 研究的扩展验证。
- 原始研究(Todd 等,ICLR 2024):对少量注意力头的输出取平均可得到代表某项任务的「函数向量」,如求反义词、说首都;它能触发零样本和自然文本场景下的任务执行,具备因果效应,甚至可以相加组合出新任务。
- 2025 年扩展发现:函数向量在各模型家族中仍然有效,但最佳插入位置在 Qwen 模型中更深,且需要更多注意力头才能构建向量。
- 与同一线程中的 IOI 电路结论对照:部分可解释性机制具有跨模型稳健性,部分则不然。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23