研究者探讨让 LLM 自编辑权重的可解释性路线

社区围绕「用 LLM 编辑模型自身权重」展开讨论：有作者提出三步路线草案，探讨用不同规模的开源模型互改权重，猜测 LLM 或许特别擅长识别并修改自身权重；Anthropic 研究员回应称未显式测试开源模型自编辑但完全值得做，其他模型效果因模型而异。另有研究者论证模型自编辑可消除解释者与目标模型间的能力差距，因为两者在同一参数上经历同种前向传播，可大幅减少混淆变量；还有人提出更激进的实验，让开源模型直接查看自身权重和激活值，对比 post-training 前后差异。

2026-11-03 ~ 2026-11-03 · 4 条相关