Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重

burkov · x · 2026-11-06

知名 ML 作者 Andriy Burkov 提出一个想法:把 LLM 权重文件当作文本语料(Hugging Face 和 GitHub 上大量存在)来预训练一个足够大的 Transformer,它会像学会理解文字和代码一样,学会理解权重文件中数值的含义与关联;再用「编辑权重文件」的样本做微调,模型就能学会编辑这些权重。

他的论点是:Transformer 并不关心文本文件里是莎士比亚、Linux 源码还是 Qwen 权重——只要能切 token,就能学会预测下一个 token。这本质上是对「AI 改进 AI」路径的一种外推推想。