Claude Opus 5.5 自主设计架构搜索,发现新 Transformer 架构 AttnRes-Canon
SonglinYang4 · x · 2026-11-11
Interactive & Active AI 团队发布自动研究(auto-research)实验:让 Claude Opus 5.5 在 NextTransformer Arena v1 规则下自主设计并筛选 Transformer 架构,人类只审批计划和预算。
实验设计
- 训练数据、步数(46,875 updates)、每 token 算力(FLOPs ±1%)全部锁定,只允许改架构
- 每个候选只训 2,000 步(约完整运行的 4%),只用训练 loss 和验证 BPB 做判断
- 完整跑一次需 1,400+ GPU 小时,搜索靠短训快速筛选
关键发现
- 短训 2,000 步的候选排名与完整训练高度一致(Spearman ρ = 0.92),Opus 先用 11 个已知结果架构验证了这一方法
- 三轮搜索共 12 个候选后,最终架构 AttnRes-Canon 结合 Full AttnRes 与 4 处 Canon 层
- 完整训练(49.152B tokens)后 CORE 得分 35.99,比起点 Block AttnRes 高 2.0 分,验证 BPB 低 0.0024,两项均在公开榜单排名第一
作者还提出猜想:用 2k 步样本预测 50B token 训练的结论,这类「自动研究」预测是否也遵循 scaling law?
「编程与Agent」频道最新
- 用 Claude Code 分身多智能体，一天做出百万播放风格卡通短片 — prasettiuul · 2026-11-11
- 「swarm riders」：指挥智能体蜂群的 token 消耗是普通工程师千倍 — inductionheads · 2026-11-11
- 「Claude Fable 5.2」实测做灵动岛 App：先出多版设计再写原生码 — PrajwalTomar_ · 2026-11-11
- OpenAI 发布 34 页 AI Agent 白皮书:架构、护栏与评估全覆盖 — mdancho84 · 2026-11-11
- 有人用 Claude 做出单文件可玩潜行偷窃游戏,全部代码手绘渲染 — heypearlai · 2026-11-11
- AI 数据分析产品难题:同一公司内 KPI 定义因人而异怎么办 — Lopsided_Feedback_81 · 2026-11-11