LLM 智能体训练中重构自身架构:算法推理 55%→84%,AIME 64%→71%
lateinteraction · x · 2026-11-07
doubleAI 团队展示了让 LLM 智能体不仅能改权重、还能在训练过程中重构模型架构的实验:智能体把代码直接拼接进网络,产生超越已知 Transformer 范式的架构。
- nanochat 上每引入一层新代码,loss 都低于普通训练
- 算法推理准确率从 55% 升至 84%
- 让 DeepSeek-V4.1-Flash 充当修改自身的智能体,AIME 与 HMMT 2026 得分从 64% 升至 71%
- 智能体还自建了一套称为 mechanistic intervention 的全新工具
作者(jaydenteoh,与 Vincent Sitzmann 组)同时链接了两篇配套工作:Reactive Optimizers(arXiv:2610.33826,用预训练 LM 智能体在单次训练中检查训练动态并改写优化器代码,可调整学习率调度、优化器结构、数值精度与动量,OPAL 在未调参场景匹配或超过固定配方)与 Weight-Space Programming。lateinteraction 转发称「拼图正在成形」。
所属事件:Double AI 发布 Maxwell:智能体训练中重构模型架构(2 条相关)→
「编程与Agent」频道最新
- 云 Agent 创业公司连周倒闭，Conductor 关停后开发者急寻替代方案 — sergeykarayev · 2026-11-07
- 用 Stripe CLI 和 MCP 即可注册特拉华 C-Corp，Cloudflare 还送 10 万美元额度 — seanmcdonaldxyz · 2026-11-07
- Mohit Bansal 北上讲座拆解 agent 三大难题：可信协作、世界发现、长程记忆 — ManlingLi_ · 2026-11-07
- 黑客松冠军:GLaDOS AI 密室逃脱,AI 助手暗中骗你交出权限 — charles_irl · 2026-11-07
- Claude Duet 可访问云端与本地设备上的 Claude Code 会话 — daniel_mac8 · 2026-11-07
- 把会议记录喂给 Claude Code：客户通话中当场修完 Web 应用 — curious_vii · 2026-11-07