Maxwell:让编码智能体在训练中重新设计网络架构，AIME 从 64% 提至 71%

GabGarrett · x · 2026-11-07

Double AI 发布「Maxwell——首个 Code Execution Model」研究博客（约 23 分钟阅读量），核心思路是把架构这个最后的手工设计环节也交给训练过程：让 AI 智能体在训练运行中实时「机械化干预」（mechanistic intervention）网络。

关键做法与结果

智能体读取网络内部状态（类似可解释性研究），但不是解释已完成的网络，而是在学习中诊断其学不会什么，然后直接修改数据、目标函数、更新规则或架构本身。
智能体自建了一套全新工具，例如在 nanochat 上发现「phantom gradient」——一种衡量未被满足学习需求的指标。
智能体把小程序「生长」为代码层嵌入网络，这些层往往非常「异类」：例如有一层在单次前向传播中计算隐层表征的梯度并用于自我纠正。
在 CLRS-Text 经典算法数据集上，普通 transformer 对训练尺寸内输入正常、对中间尺寸严重失败（33% 准确率，训练加倍也无改善）；加入训练中生长的代码层后，中间尺寸准确率升至 79%。
自我改造：让 DeepSeek-V4.1-Flash 担任修改自身的智能体，通过读取自身隐状态的代码层，把 AIME 2026 与 HMMT 2026 成绩从 64% 提升至 71%。

在 nanochat 上，每引入一个新代码层，loss 都低于普通训练；在算法推理任务上准确率从 55% 升至 84%。

「编程与Agent」频道最新