Dynamical 发布 SDL-2 评测：前沿模型做材料科学实验决策仅约半数正确
BenBlaiszik · x · 2026-11-03
Dynamical Systems 发布开放评测 SDL-2，衡量 AI agent 能否通过自主选择实验，判断一个磁体加工工艺能否可靠满足性能要求。
- 评测设计：基于与伦斯勒理工学院合作校准的磁体加工数字孪生，agent 面对陌生粉末、不确定的物理模型、有限实验预算和批次间波动，需要发现关键关系、选择能区分竞争解释的实验、在意外结果时修正解释，并判断证据是否足够支撑决策。每个决策都有已知答案可评分。
- 结果：前沿模型约半数调查中能得出正确且有证据支撑的决策，「在波动下推理」被指为当前最需提升的能力。
- 核心论点：硬件团队未来将围绕 agent 可开发出的材料能力来设计产品；团队押注 meta-learning——agent 能通过被验证的实验经验学会「如何调查」，使下次建立新能力所需实验更少。
- 关键区分：做出一个合格磁体不等于工艺可靠，需证明同批工艺的全新批次也能达标。
「漫话AGI」频道最新
- 长颈鹿进化梗图：AI 圈的「低垂果实」正一年比一年挂得高 — itsOmSarraf_ · 2026-11-03
- Bain 6 万亿美元 vs Goldman 5000 亿：AI 收入预测差距有多大 — luisdans · 2026-11-03
- Databricks 用 Agent 跑研究,训练任务量一年增长 8 倍 — matei_zaharia · 2026-11-03
- Venkatesh Rao：AI 精英像重商主义囤金一样囤积智能 — The Decoder · 2026-11-03
- 同一台 AI:回答笔记本故障值几美分,改一个分子环值数千万美元 — r0ck3t23 · 2026-11-03
- AI 圈内热议:只要环境里出现过一次成功,就能拿来跑 RL — cephaloform · 2026-11-03