微软等发布 SIRIS 基准,LLM 难判仿真误差影响

微软研究院与 KAIST 联合发布 SIRIS 基准,检验 LLM 智能体能否判断仿真器的建模缺陷何时会使其推荐的设计方案失效。方法是对仿真器施加扰动,构造候选方案、缺陷与推荐均相同、但扰动使缺陷仅影响其中一个方案的测试场景。结果显示,19 个前沿 LLM 在该任务上表现不佳,难以判断仿真误差何时足以推翻设计结论,这对依赖仿真器做大规模评估的 AI 驱动系统研究提出警示。

2026-11-10 ~ 2026-11-11 · 2 条相关