低秩电路条件化：只用 5% MLP 通道把能力抽取率从 29% 提到 91.33%
tokenbender · x · 2026-10-16
作者提出「低秩电路条件化」（low-rank circuit conditioning），一种在不改变模型输出行为的前提下重塑已有能力内部表示的新方法，目标是把神经网络中的能力和行为抽取出来，按需复用、更新和路由。
- 基线模型中，标准紧凑抽取的恢复率停在 29%
- 施加条件化后，同一条抽取管线仅用 5.05% 的 MLP 通道就达到 91.33% 的自回归完整答案恢复率
- 论文认为这指向一种可行性：把模型的孤立能力抽取出来单独使用，从而节省成本、降低延迟并获得高适配性
论文链接见原帖。
「研究」频道最新
- EMNLP 论文：扩散语言模型内部隐式编码去噪时间步 — gsarti_ · 2026-10-23
- KU Leuven 与 VIB 招两位 AI in Biology 组长教授，2027 年入职 — jpillowtime · 2026-10-23
- Subspace Tuning:把权重更新限制在低奇异子空间,大幅缓解 LLM 灾难性遗忘 — scottniekum · 2026-10-23
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- Cohere 演讲：DRATS 自适应任务采样改善多任务 RL 数据分配 — Cohere · 2026-10-23