新论文:LLM 无需梯度下降即可直接编程表格基础模型的权重
RexDouglass · x · 2026-11-17
arXiv 论文《Weights & Caches: LLMs Can Program Tabular Foundation Models》(Hoo、Buehler、Swelam、Hutter 等)展示 LLM 可以直接读写神经网络权重来编程统计计算,全程不用梯度优化。使用 GPT-6 Astra 在三个场景验证:
- 构建:从零初始化权重直接写出 nanoTabPFN,在 20 个 TabArena 数据集上平均 ROC AUC 达 0.849(预训练基线 0.876);
- 修复:诊断并修复预训练 TabPFN-3.5 的符号乘积回归缺陷,保留集上预测近乎完美(R² 从约 0 升至 0.99),TabArena-Lite 上平均误差仅增加 0.08%;
- 操控:编写 KV-cache 编辑程序,在权重完全冻结的情况下改变 TabPFN-3.5 对未见数据的预测,如反转线性趋势、把正弦波转为近似方波。
作者认为 LLM 驱动的权重编程可作为梯度优化的补充,并为理解和干预模型提供新途径。
「研究」频道最新
- 投资机构撰文解释押注 Demis Hassabis 创办的 Isomorphic Labs — aleximm · 2026-11-17
- Maldacena 等顶级物理学家谈 AI:谁产生知识不重要 — binarybits · 2026-11-17
- 伯克利博士生推出 FrontierCS 2,让 AI 智能体盲测挑战已发表论文 — arena · 2026-11-17
- 统计学家:一个月三次异常事件,足以拒绝低基准率假设 — wfithian · 2026-11-17
- Isomorphic Labs 融资 50 亿美元,六个月内第二笔巨额轮 — The Decoder · 2026-11-17
- Google 论文 EfficientSkill:两阶段裁剪 agent 技能,输出 token 最多省 80% — dair_ai · 2026-11-17