用大小 LLM 互改权重？「自可编程模型」研究草案提出三步路线
menhguin · x · 2026-11-03
作者探讨用不同规模的开源 LLM 来编辑模型自身的权重：大模型更聪明，小模型权重更简单，可能存在中间的最优规模。猜想 LLM 或许特别擅长识别并修改自己的权重。无监督权重编辑的三步构想
- 利用专家稀疏性提升权重的单义性（monosemanticity）；
- 采用 ZOO 等仅需前向/反向传播的零阶优化方法；
- 对权重做自动可解释性分析。
配套的 Google Docs 草案《Towards Self-Programmable Interpretable LLMs》进一步提出：更细的专家粒度、更低的激活比例可能预示更好的权重可分离性与更精准的编辑；并计划系统消融专家数量、宽度、激活比例、路由、共享专家等变量，用 SAE、transcoder 等方法对比稀疏 MoE 与稠密模型——因为架构差异可能决定现有可解释性方法的结论能否跨架构迁移。
所属事件:研究者探讨让 LLM 自编辑权重的可解释性路线(4 条相关)→
「研究」频道最新
- Kaggle 新基准实测古文献转录：Gemini 4 Argon 以 0.86 居首 — mariofilhoml · 2026-11-03
- MIT 研究员做客 Latent Space：递归语言模型与万级 Agent 实验的启示 — niloofar_mire · 2026-11-03
- LeVJEPA 1.5 Large 发布：计算量少 5.6 倍追平 V-JEPA — HildeKuehne · 2026-11-03
- Prime Intellect 驻留者抛出难题:高价值知识工作没有可验证答案,RL 奖励怎么定? — xeophon · 2026-11-03
- Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03
- Understanding AI 深度长文:用最少数学讲清强化学习如何造出 Agent — binarybits · 2026-11-03