不跑梯度也能微调:元模型一段话秒写权重更新,75 项基准 59 项提升
gdm3000 · x · 2026-11-17
- Roi Cohen 等人训练了一个「元模型」,输入一段任务描述,即可在单张小 GPU 上几秒内直接为 Qwen3.5-2B 生成权重更新,全程无梯度步骤。
- 在 75 个公开基准上,这种一段话生成的更新让 59 个基准提升、8 个下降:ComVE 从 50.0 升至 91.1,三物逻辑推理从 46.4 升至 82.0;GSM8K 仅最终答案口径从 5.7 升至 18.6,超过用多达 1400 行 GSM8K 训练的 LoRA(12.7)。
- 同样给 16 个标注样本时,该更新在 24 个基准上胜过 LoRA、14 个落后。作者称这是「把反向传播压缩进模型」的早期尝试,仍有很多待解问题。
「研究」频道最新
- 2026 Google PhD Fellowship 出炉:148 名博士生获 1300 万美元资助 — ManishGuptaMG1 · 2026-11-17
- Swarms 发布 AgentRearrange:一行代码编排多智能体工作流 — KyeGomezB · 2026-11-17
- BrickFlow:从单张图片推断零件位姿自动拼装乐高模型 — Peter Kulits · 2026-11-17
- 弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍 — krishnan · 2026-11-17
- 研究估算:当今哲学期刊约 12% 论文可能由 AI 生成 — leland_mcinnes · 2026-11-17
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17