LLM 直读权重预判改动效果:27B 平衡准确率达 73%
suayptalha · reddit · 2026-11-14
研究者 Şuayp Talha Kocabay 发布「Weight-Space Reading」论文与开源工具:让 LLM 在不运行目标模型的情况下,直接检查原始权重并预测权重编辑的行为效果。
主要发现
- Qwen3 27B 在细微编辑上凭权重访问达到 73.0% 平衡准确率,而仅靠文本描述只有 57.8%(提升 0.152)。
- 未发现「自读权重」优势:跨读对比置信区间均含零;外部更强的 27B 读 Muse-30B 自己的权重反而更好(0.615 vs 0.468)。
- 读权重的 agent 分辨不出无效编辑:Muse-30B 的 34 次标准编辑 + 6 次无操作对照均未产生可检测的行为变化,但读取 agent 却预测其中 53–88% 会变化。
- 基于破坏性编辑构建的基准实际测的是「损伤检测」。
论文已公开评测 harness 与实验代码,并发布 LLM 权重空间编程/阅读的开源工具包:github.com/suayptalha/wsr。
「研究」频道最新
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 幼儿只能从会回应的对象学新词,研究呼吁用响应式 AI 复测 — AnnaCiaunica · 2026-11-14
- Databricks 基准:上下文层让数据 agent 准确率 91% 远超前沿模型 58% — CautiousUse8597 · 2026-11-14
- MIT 教授将谈 AI 科学发现:智能体蜂群自主研究超材料 — ProfBuehlerMIT · 2026-11-14
- Walden 演讲:基座模型快速变强,中训练数据正被商品化 — ZeYanjie · 2026-11-14
- Nathan Lambert 反驳 Dwarkesh:持续学习并非 AI 进步的瓶颈 — natolambert · 2026-11-14