SimuVerity基准:最强Agent生成Simulink模型仅得42.86分
Ruiqi Zhang · hf · 2026-10-05
MIT团队发布 SimuVerity,一个面向工程级 Simulink 模型生成的 Agent 基准。
- 包含 101 个文本到可执行 Simulink 模型生成任务,覆盖十个工程领域
- 每个任务由可执行系统画像给出工程规格,配合四类原生仿真场景验证
- 采用分层评估:先检查交付物、可执行性与工程合格性,再从准确性、输出质量、机理保真、控制与因果完整性、工况鲁棒性、动态响应六个维度打分
- 评测六个 Agent 系统,最佳系统总分仅 42.86,说明结构相似度不是工程性能的好代理,瓶颈在于产出合格实现及满足多维要求
- 部分高分模型仍存在严重的视觉布局混乱
「编程与Agent」频道最新
- 模型越聪明流程越多余？Dimillian 反思该回到单线程提示框了 — Dimillian · 2026-10-05
- 3D打印+ESP32+Astra，网友给孩子做了一台AI答录机 — Stefania_druga · 2026-10-05
- 博主分享给 Agent 的教练式提示词：只思考创造未来 — gajesh · 2026-10-05
- Claude 新模型 Fable 自主做出类《茶杯头》格斗游戏,单 HTML 文件纯代码实现 — LegitimateSwordfish8 · 2026-10-05
- App 上线前先装好 PostHog 与反馈闭环两件事 — Tegadesigns · 2026-10-05
- Obsidian Starter Kit 经 CLI 和 MCP 把笔记库开放给任意 AI — dSebastien · 2026-10-05