CMU 等推 ChemCost：化学采购成本成可复现 Agent 基准

jiqizhixin · x · 2026-11-13

卡内基梅隆、圣母大学、UNC 教堂山和匹兹堡大学研究者推出 ChemCost，把「估算化学反应采购成本」变成可复现的 agent 基准。基准基于冻结快照：1,427 个可评估反应、2,261 种化学品、230,775 条供应商包装报价。Agent 需解析化学品身份、检索报价、选择合规包装，并按毫摩尔级限制试剂规模归一化采购成本（不计溶剂）。结果显示最强系统在干净输入下也只达到 50.6% 的准确率（25% 相对误差内）。基准还通过受控扰动引入模糊命名、数量混乱等真实世界噪声，使任务远难于简单识别化学名。