HeadEdit：不改权重即可校准 LLM 行为，九项实验全面生效
burny_tech · x · 2026-10-20
论文 HeadEdit（arXiv:2610.01170）提出一种免梯度、不改权重、不加验证器的 LLM 行为校准方法：
- 做法：通过 SVD 从成对补全中提取低秩行为子空间，将隐藏状态投影到该子空间，再直接对输出 logits 施加低秩校正（利用冻结的 unembedding 矩阵）。
- 效果：在 3 个任务、3 个模型家族共 9 项实验设置上全部提升，推理开销可忽略，且通用能力无系统性损失。
- 关键洞察：「可解码 ≠ 可控」——行为能从表示中被解码出来，不代表干预该表示就能有效控制行为。
- 延伸：其低维表示部分能预测偏好微调如何改变未见提示的 logits；微调后学到的子空间可复用，无需重新提取。对实时 agent steering 与工具调用校准有潜在价值，也引出机制可解释性的新问题：能否找到因果行为子空间而非仅预测性的？
「模型」频道最新
- 爆料人暗示重磅模型发布在即:「私人频道里鸟在叫」 — daniel_mac8 · 2026-10-20
- Andon Labs 新模型 Muse Wonder 登 Vending-Bench 2 第四名 — jack_w_rae · 2026-10-20
- banteg 盛赞 Argon 模型：古怪但能激发灵感，还帮他做出血液散射模拟 — banteg · 2026-10-20
- 5090 与 Strix Halo 实测 Qwen3.8 量化：Gufo 引擎解决工具调用翻车 — awitod · 2026-10-20
- 传 DeepSeek-V4.1-Flash 在 ML 研究任务上力压 Anthropic — teortaxesTex · 2026-10-20
- 实测 DeepSeek 对比 Claude 与 Codex:谷歌地图商家抓取任务各有胜负 — teortaxesTex · 2026-10-20