新研究:LLM 只看权重就能预测改动对模型行为的影响
udmrzn · x · 2026-11-16
alphaXiv 上的论文《Weight-Space Reading》(Poindexter Labs)提出一个问题:语言模型能否不运行网络、仅凭检查原始权重,预测对权重的修改将如何改变模型行为?
实验设置与发现:
- 用沙箱 reader agent 检查 Qwen3.8-27B、Qwen3.5-9B、Muse-Glimmer-30B 的权重,用 Python 工具预测细微权重编辑对数学准确率、推理长度、拒答行为等能力的影响,全程零前向传播
- 27B 预测对自身权重细微非破坏性编辑的行为效果,balanced accuracy 达 0.730,而只给编辑的文本描述时仅 0.578(+0.152,95% CI [+0.056, +0.256]),零样本下能恢复约三分之二的真实行为变化
- 未见「自我阅读优势」:更强的外部 reader 27B 读 Muse-30B 自身权重反而胜过 Muse-30B 自己(0.615 vs 0.468)
- 明显局限:40 个对 Muse-30B 无实际效果的编辑(含 6 个 no-op 对照),reader 对其中 53–88% 仍预测了变化,Muse-30B 自己对 85% 误报
- 基于破坏性编辑的基准实际测的是损伤检测:另一家族模型预测 27B 编辑效果与其自测相当(0.594 vs 0.593)
作者提出了评估权重阅读的四条规则并开源了评测工具。
「研究」频道最新
- AI/ML 流体力学课程第二期开课:60 小时直播,学费 500 美元 — ricardovinuesa · 2026-11-16
- 研究员断言「为顶会刷论文」已死,转向 GitHub 公开产出 — DimitrisPapail · 2026-11-16
- DeepMind 研究员谈 AI 时代科研路径:降低做酷工作的摩擦 — DimitrisPapail · 2026-11-16
- Google AI Co-Scientist 进展亮相 MLCB 2026,Brenner 主持直播 — anshulkundaje · 2026-11-16
- 预训练蒸馏加一点输入噪声反而更优,新论文实测增益显著 — DimitrisPapail · 2026-11-16
- 新研究提出「自动权重空间编程」:模型学会对自身神经元做 logit lens — udmrzn · 2026-11-16