Analog Design Bench 发布:Agent 芯片设计全规格通过率仅 8%~78%
tokenbender · x · 2026-09-30
模拟电路设计长时程基准 Long-Horizon Analog Design Bench 论文发布,专门测量 agent 能否把模拟/混合信号电路设计推进到满足电气规格。
基准设置
- 50 个晶体管级设计任务,由 17 位芯片设计师精心筛选,含经过验证的 testbench
- Agent 使用开源仿真器工作,隔离的验证器按电气规格测试提交电路
- 共 15 种 agent 配置、2,250 次、每次 2 小时的尝试
核心发现
- 全规格通过率介于 8.0% 到 78.0%,差距巨大
- 编码基准成绩与模拟设计表现相关,但解释不了大部分差异
- 失败分析显示多数失败案例未被合法性规则拒绝,而是卡在电气验收——「electrical closure」是主要难点
- 更长时长和更高推理强度有效;通用技能文档几乎无用,有时反而降低性能
- 提供任务匹配的参考拓扑(电路 IP 检索的理想化形式)可让 DeepSeek V4 Pro 提升 18.7 个百分点,主要加速 GPT-5.6 Sol
「编程与Agent」频道最新
- 实测让 Agent 打电话提问,三问挂断后经 API 取回答案 — gregmushen · 2026-09-30
- Qwen Code 发 v0.24.7 夜间版:新增本地工作区 Agent 协作 — qwen-code-ci-bot · 2026-09-30
- Replit 上线应用漏斗分析,一句话让 Agent 生成数据仪表盘 — amasad · 2026-09-30
- Compound Engineering 3.30 发布：改写 skill 文案抑制模型过度建设 — kieranklaassen · 2026-09-30
- Lovable 应用可部署进企业 Microsoft 租户,直连 M365 数据 — satyanadella · 2026-09-30
- 开源事故响应 agent 用 Hindsight 记忆复用历史处置经验 — One-Horse8329 · 2026-09-30