Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang
cs.CL
2026-10-21
UCSB 让 16 个不同学科背景的 AI 研究员自主做架构搜索,80 轮搜出的 CFDN 在 1.3B 所有评测上超过 GDN2。
自动科研 agent 已经能提想法、写代码、跑实验,但 AI Scientist、AlphaEvolve 这类系统多是单个 agent 或固定流水线在产生所有候选。在成熟领域里,单一推理模式容易把搜索困在设计空间的局部最优。论文问的问题很具体:一组不同学科背景的 AI 研究员,怎么在有限实验预算下互相接力、持续出成果。测试床选了线性注意力(linear attention)架构搜索,即用固定大小的循环状态替代 softmax attention 的 KV cache。设计空间大,每个候选都要真训练才能验证,实验成本天然限制搜索的宽度与深度,正好逼出团队组织问题。
16 个研究员是同一个 LLM(GPT-6 Astra,高推理档,经 Codex harness 调用)的不同实例,差别只在初始化时注入的学科档案:贝叶斯滤波、动力系统、流式算法、向量符号记忆等 16 个方向,只有一个是线性注意力本行。每份档案约 2000 词,装的是数学工具、科学直觉和拆解陌生问题的研究习惯,不是预设答案。
每轮迭代做六件事:
三个组织设计是主角:学科档案防止单一推理模式锁死方向;私有记忆让单个研究员能把一条调查线追到底;自适应分配把稀缺的实验机会在「已证明有产出的人」和「还没被充分测试的人」之间调度。奖励只计超过当时队内最好架构的部分,失败不扣分,鼓励试错。共享记录每 10 轮汇成团队教训与未解问题。
150M 参数、80 轮迭代、63 个候选完成训练(FLOPs 对齐 GDN 的 15B tokens 锚点,更贵的架构拿更少 tokens)。最强发现叫 CFDN(Context-First DeltaNet):在 GDN2 的矩阵记忆旁加一条循环上下文向量,向量先吸收预测误差,矩阵再拟合剩余部分,共享信息优先于查询特定修正,计算量与 GDN2 相当。
150M 全量评测:
| 方法 | Wiki ppl↓ | LMB ppl↓ | CSR acc↑ | NIAH acc↑ |
| GDN | 35.15 | 64.03 | 42.88 | 16.94 |
| KDA | 34.63 | 56.64 | 41.94 | 22.03 |
| GDN2 | 34.93 | 54.74 | 43.60 | 25.79 |
| CFDN | 33.84 | 52.33 | 43.29 | 29.76 |
检索提升最猛,NIAH 从 25.79 到 29.76;CSR 略输 GDN2。放到 1.3B(GDN 100B tokens 锚点),CFDN 每类都第一:Wiki 15.74、LAMBADA 11.04、CSR 54.53、NIAH 67.29、真实检索 RWR 33.41(GDN2 对应 16.05、11.22、52.65、66.86、32.52)。
组织消融是这篇最硬的部分:完整系统最佳 utility 1.04;去掉学科档案掉到 0.54,最佳候选第 22 轮就出现,之后再没进步;清空私有记忆 0.56;UCB 换成固定顺序轮询 0.76。三个变体完成的评估数反而更多(65-68 对 63),差距不能归因于跑得多。完整系统的最佳提案出现在第 68 轮,说明搜索到后期还在 escape 局部最优。另有一组对照:只优化 LM loss 的搜索在 LAMBADA 上低不少(46.40 对 52.33),但 Wiki、CSR、NIAH 全落后,单目标搜出的改进迁移不动。
架构本身是四个研究员接力做出来的:线性注意力方向的研究员加了上下文向量,自适应滤波背景的研究员用地址能量归一化修正量,一次「先更新矩阵」的改动改善了 LM 却伤了检索,预测表示方向的研究员抓住这个 tradeoff 把更新顺序翻过来,得到 CFDN。团队把一次退步当线索用,而不是只保留成功提案。
架构层面,CFDN 是个可直接取用的线性注意力变体,检索增益清晰。组织层面更值钱:多背景、私有记忆、自适应分配这些设计在多 agent 科研系统里常见,但此前没有人把它们拆开做受控对照,再对照真的训练评测结果。对做自动科研系统的人,这组消融就是一张优先级清单:背景多样性决定能不能跳出局部最优,私有记忆决定能不能持续改进,分配策略决定预算花得值不值。
作者自己列了研究完整性风险:agent 可能给出错误结论、漏掉先例、或对着评测指标过拟合而没真正提升能力,保留记录和多种能力评测只是缓解,不保证正确或新颖。1.3B 对比只覆盖 GDN、KDA、GDN2 三个同族架构,没有跟更广的 SSM 或混合注意力模型比。150M 上 CSR 还略输 GDN2,全类别领先要到 1.3B 才成立。主 run 只跑了一次,消融没有报告方差,0.54 与 0.56 之间的差距可能在噪声范围内。整轮搜索的总算力与 agent 调用成本没有披露,复现也绑在特定闭源模型上。