Long-Horizon Analog Design Bench: Benchmarking Agents on Hours-Long Analog and Mixed-Signal Circuit Design Tasks
Analog Design Bench Team
cs.AI
2026-09-27
50道专家晶体管级题、15个Agent、2250次两小时尝试：全规格通过率8.0%～78.0%，失败里98.3%是电学未达标。
写代码的 Agent 已经能在终端里连续干几小时：改文件、跑测试、看反馈、再改。模拟和混合信号前端设计是同一套循环，但从电学规格出发选拓扑、定尺寸、搭诊断测试、对着仿真器改到功能、性能、稳健性同时成立，一直没被系统量过。
语法合法的 SPICE 网表（电路连接的文本清单）完全可以仿真成功，同时功能错或指标不够。AnalogCoder、AnalogAgent 等前作证明生成加仿真可行，题目更少，或仿真由框架固定调用，没有隔离的规格验证。缺的是专家原题、Agent 自主调仿真器、提交电路才进入的隐藏电学验收叠在一起。
20 多名有流片经验的设计师提出 100 多道题，经多层审稿和 6 个 Agent 试跑去掉过易题，留下 17 人贡献的 50 道晶体管级任务。每道有独立核过的参考电路，证明规格可达，不规定拓扑。题目覆盖电源、运放与 OTA（跨导运算放大器）、滤波、数据转换、射频/时钟和接口。
工具链是开源 SKY130 PDK（SkyWater 130 nm 工艺套件）加 ngspice，只评原理图。单次仿真大约不超过三分钟。对抗审查里出现过改 PDK 温度系数，因此只有提交的电路能穿过沙箱边界。
Agent 在自己沙箱里写电路、改网表、跑仿真。验证器只收提交电路，先查接口和禁止的理想化捷径，再跑隐藏电学测试。规格公开，测试实现不公开。展开到离散工况后每题 11 到 2083 个验收检查，必须全过。SpecScore 是过关门的加权比例。主实验 50 题 × 15 配置 × 3 次，共 2250 次、每次两小时。配置是模型、推理力度和 harness（运行外壳，管工具调用和循环）的组合。四个 GPT 和两个 Claude 用原生 Codex / Claude Code，其余走兼容 API。主指标 pass@1。
全规格 pass@1 从 8.0% 到 78.0%。过 50% 的四个配置全是闭源前沿模型。
| 配置 | pass@1 | SpecScore |
| Claude Fable 5 [max] | 78.0%（117/150） | 89.26% |
| Claude Opus 5 [max] | 69.3% | 86.62% |
| GPT-5.6 Sol [max] | 68.0% | 77.02% |
| GPT-5.5 [xhigh] | 60.7% | 73.02% |
| DeepSeek V4 Pro [max] | 42.0% | 55.45% |
| MiMo 2.5 Pro / GLM-5.2 | 8.0% | 约 22.5% |
GPT-5.6 Sol 至少做成 48 题，比 Fable 多 3 题，三轮全过只有 18 题，Fable 是 32。50 道题每道都至少被做成过一次，单题通过率 4.4% 到 88.9%。
失败几乎全在电学。2250 次里 24 次（1.1%）被记成非法网表；未通过的 1388 次里 1364 次（98.3%）没有合法性拒绝，卡在电学验收。
和 DeepSWE 编码榜排名相关（Spearman ρ = 0.88，n = 13），但编码分解释不了散度：DeepSWE 落在 67% 到 70% 的六个模型，模拟 pass@1 从 31% 到 78%。
两小时拉到六小时，五个配置各涨 14.0 到 20.0 个百分点，GPT-5.6 Sol 从 68.0% 到 82.0%。推理力度决定多出来的时间能不能变成分：同一模型在 Codex 上 Max 为 72.0%→82.0%，High、Medium、Low 六小时零增长。五个 harness 两小时 56.0%～72.0%，六小时收到 80.0%～86.0%；模型之间六小时仍差 54 点。
通用 skill 文档六小时终点相对基线在 -6.0 到 +3.3 点，有的两小时还掉 12.0 点。给每题一份匹配的、尺寸留空的参考拓扑，DeepSeek V4 Pro 六小时从 59.3% 到 78.0%（+18.7 点）。同一份库给 GPT-5.6 Sol，两小时 +10.0 点，六小时只 +0.7 点，主要是更快做成。通过的尝试中位时长 72.0 分钟，失败的 118.9 分钟。
题 33 上，GPT-5.6 Sol 在 Codex 里 98.2 分钟首次全过；换 Kimi Code 后 181.9 分钟过了，继续改，265.0 分钟噪声 317.7 µV 对上限 300 µV，退回去了。验证器判决对 Agent 隐藏，它不知道自己曾经过关。
对做 Agent 的人，模拟设计的终点是耦合电学规格闭环，不是合法网表。加时间和推理力度有用；通用手册帮助很小，有时为负；匹配参考拓扑对弱模型抬终点，对强模型主要加速。开源工具链能直接跑。过基准只说明列出的电学规格在 SKY130 原理图仿真里成立，不是流片合格证。这是评测基建，不是新的电路综合算法。
作者写明：只有 SKY130、只有原理图，绝对性能不能和先进商业工艺比；版图、寄生、硅上测量不在范围内；需要专有模型或仿真器的流程被排除；过基准不等于有商业竞争力的芯片。器件取值、multiplicity、面积不受约束，可能不实用。
Skill 的 held-out 切分改变了题型比例，电源管理从源 30 题里的 10 道变成后 20 题里的 1 道。推理力度和 harness 研究每题只跑 1 次。参考拓扑是完全匹配的上界，论文没测现实电路库检索能保住多少增益。Agent 过关后继续改会回退，协议没有强制自测回归。未来版本才计划加入对受测 Agent 不可见的 held-out 题。