权重空间编程实操守则:自建 harness、防 LLM 先验污染、先做基线

viksit · x · 2026-11-13

被引用的长推给出权重空间编程(weight space programming / 模型权重编辑)的实操建议:1) 必须精心搭建自己的实验 harness;2) 当前前沿 LLM 在这类任务上训练不足,会把先验和偏见带进编辑方案,正确性要靠自己把关,不能被 LLM 自动生成的无用检查淹没;3) 从一个基础目标开始,先测基线模型能做到什么,建立 activation probes 和 neuron lens、粗略梳理 circuits;4) 把前几步结果当研究语料,再让前沿 LLM 在此基础上提出编辑方案。主帖作者 viksit 表示自己正在做高度契合此事的东西,敬请期待。