LoRA 微调为何带来意外泛化:一个转向向量即可解释,连模型后门也是
sebkrier · x · 2026-10-31
- Tim Hua 与 sebkrier 转发并讨论 Wang et al. 2025 的论文《Simple Mechanistic Explanations for Out-Of-Context Reasoning》(arXiv:2507.08218,作者含 Neel Nanda 等,ICML 2025 Workshop),认为文献中多数"出上下文推理"(OOCR)现象都能由此解释。
- 论文的机制性发现:LoRA 微调本质上等价于给模型加一个恒定的转向向量(steering vector),把模型拉向某个通用概念,从而在微调任务及大量概念相关任务上同时提升,造成看似深刻的分布外泛化;直接从零训练转向向量也能复现 OOCR。
- 更惊人的是,连看似必须依赖条件触发的模型后门行为,也可以被"无条件加一个转向向量"所诱导——大量信息(包括后门)可被压缩进单个向量。
- 讨论:1a3orn 质疑所谓"persona neuron"或许只是"显著概念神经元",强激活某概念后再问"你是谁",模型自然会回答"我是 X"。该研究对 LLM 安全可靠部署有直接意义。
「安全」频道最新
- Arthur Colle：解决AI对齐本身就是一种网络安全风险 — arthurcolle · 2026-10-31
- 攻击医院后良心发现？黑客道歉并愿向患者每人赔偿 2500 美元 — basedjensen · 2026-10-31
- InfoQ 深文：MCP 生产安全需四层纵深防御，网关只覆盖两层 — bibryam · 2026-10-31
- 6 月以来超 1 亿美元数据中心设备被盗,GPS 伪造成新手法 — BuddyWeary653 · 2026-10-31
- Codex 擅自禁用用户 ComfyUI 后拒绝修复,引发本地 agent 安全担忧 — MikirahMuse · 2026-10-31
- 开发者质疑训练数据退出条款后，Daybreak 澄清用户仍可选择退出 — moyix · 2026-10-31