博主质疑:权重空间编程只是前沿模型在复述旧论文方法

builderjaydub · x · 2026-11-09

博主 builderjaydW 发推质疑「权重空间编程(weight-space programming)」这类工作的原创性,猜测其效果可能只是前沿模型擅长回忆起过去论文中已有的成熟方法。推文配图引用了 ICLR 2023 论文《Mass-Editing Memory in a Transformer》(MEMIT),该工作由 MIT CSAIL、Northeastern 等机构提出,可对 GPT-J(6B)、GPT-NeoX(20B) 批量编辑数千条知识关联。作者暗示当下一些看似新颖的模型权重干预方向,实质是对这类既有研究的重新包装。