微软研究院 SIRIS 基准:19 个前沿 LLM 难判仿真误差何时推翻设计结论
_akhaliq · x · 2026-11-11
微软研究院等发布 SIRIS 基准,检验 LLM 能否判断仿真器的缺陷何时会让其推荐的设计失效。方法是对仿真器做扰动,构造候选方案、缺陷与推荐相同但扰动让缺陷只对其中一个 workload 构成致命影响的工作负载对,以参考仿真器作为判据。
关键发现:
- 评估 19 个前沿 LLM 于 LLM 服务设计问题:能指出仿真缺陷并不等于能做出正确设计取舍;
- 即便最强模型有时也会放弃本有效的推荐;
- 通过 review 轮做自我修正能帮模型恢复正确选择,但在部分案例中引入新错误。
结论:AI 驱动的系统研究需要在不完美仿真器下评估设计决策的系统能力,而非只看能否发现缺陷。
所属事件:微软等发布 SIRIS 基准,LLM 难判仿真误差影响(2 条相关)→
「研究」频道最新
- Geodesic 发布 NovaAtom-Lite,抗体-抗原结构预测超 AlphaFold 3 达 31 个百分点 — QuanquanGu · 2026-11-11
- 研究者:让大佬 RLHF 自己的研究品味进模型,无法外推到全自动 AI 研究员 — herbiebradley · 2026-11-11
- LeCun:想做人类水平 AI,就别做 LLM — StasBekman · 2026-11-11
- FlashAttention 共同作者 Dan Fu 播客:从 CUDA 内核到开源模型经济学 — realDanFu · 2026-11-11
- OpenTac 亮相 CoRL：触觉被称为机器人数据缺失的另一半 — anand_bhattad · 2026-11-11
- Geodesiclab 攻克抗体结构预测难题,取得显著改进 — QuanquanGu · 2026-11-11