WSP 权重编辑被证明等价于约束式 Activation Steering
kastnerkyle · x · 2026-11-11
- 围绕 Weight-Space Programming（WSP）的后续讨论：有人指出对 Qwen 权重的直接编辑在数学上等价于一种带约束的 activation steering。
- 林由(@hayashiyus)进一步提出：如果能用信息几何（Fisher 信息）衡量权重编辑对输出分布的局部影响，就可能高效地挑选「对输出扰动最小」的编辑方案。
- 他想以此测试递归自我改进闭环：Astra 此前在无梯度训练的情况下改写 Qwen3.5-0.8B 两个权重矩阵的部分条目，把 MATH-500 准确率从 7.9% 提到 48.1%；若模型更擅长寻找有效编辑，或许能自己产出下一个改进。
「研究」频道最新
- Greylock 读书会深挖 AI 加速器设计：晶体管越多不再等于性能越强 — _shreya_s · 2026-11-12
- ProTEUS:突变级蛋白质世界模型,蛋白质工程新 scaling 轴 — LeoTZ03 · 2026-11-12
- re:AGENT II 生物科技 AI 黑客松开放报名，1 月旧金山办三天赛道 — BrianHie · 2026-11-12
- Transluce 训练 oversight 模型，可在烧卡前预测微调后的模型行为 — menhguin · 2026-11-12
- AlphaEvolve 论文：用编码智能体做科学与算法发现 — RichardsonDx · 2026-11-12
- Meta 开源 KernelEvolve,跟进 Google AlphaEvolve 的 AI 内核优化路线 — RichardsonDx · 2026-11-12