微软KAIST提出SIRIS基准:LLM难以判断仿真误差何时足以推翻设计建议

MicrosoftResearch · hf · 2026-11-10

KAIST 与微软亚洲研究院发布 SIRIS 基准,检验 LLM 智能体能否判断模拟器的建模局限何时会让其推荐失效。在 AI 驱动的系统研究中,LLM 依赖模拟器大规模评估候选设计,但模拟器并不完美:某些局限会扭曲预测却不改变正确选择,另一些则会让推荐彻底失效。

核心发现:能识别某个局限并不等于能做出正确的设计选择;基于评审的自我纠错机制效果好坏参半。这暴露了当前 LLM 在 AI 自动化系统研究闭环中的一个关键短板。