AutoCAD-Bench 测试精确 CAD 任务,GPT 5.6 sol 以 46% 领跑
DevvMandal · x · 2026-07-24
AutoCAD-Bench 发布:用 computer use 测试模型能否完成精确 CAD 任务
DevvMandal 发布了 AutoCAD-Bench,这是一个专门评估 AI 模型是否能仅靠 computer use 完成精确 AutoCAD 操作的基准。
- 这个基准关注的是实际 CAD 操作能力,而不是纯文本问答。
- 图表显示,GPT 5.6 sol 以 46% 领跑,并被描述为能一次性完成不少基础和中级任务。
- 其他结果包括 Terra 14%、Fable 5 10%、Luna 8%;Opus 4.8、Kimi K2.5、Qwen3.7 在这套测试里均为 0%。
帖子还提到完整报告里有更详细的方法和结果。
所属事件:AutoCAD-Bench发布,GPT-5.6 Sol领跑CAD任务(4 条相关)→
「模型」频道最新
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1:面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26
- 现场幻灯片:OpenAI Dots 数周内登陆 EU/EEA 和英国 — testingcatalog · 2026-10-26