ChefNMR2 基准测试：2000+分子上 Top-1 命中 82.3%,最佳 LLM 仅 52%
ZhongingAlong · x · 2026-11-03
作者团队联合 Edison Scientific 对新发布的 NMR 结构解析模型 ChefNMR2 与专用工具及 6 个前沿推理 LLM 做了大规模基准测试,覆盖 5 个测试集、2000 多个分子(含实验 NMR 数据)。
- ChefNMR2 Top-1 结构正确率 82.3%;最佳专用 de novo 模型仅 35.4%,最佳检索方法 60.1%,最佳 LLM 52.0%。
- 配图显示在 SpectraNP+、USPTO、NMRexp、SpecTeach、NMRShiftDB2 五个数据集上 ChefNMR2 全面领先;参与对比的 LLM 包括 Claude Opus 5、GPT-5.6-Sol、Gemini-3.6-Flash、Kimi-K3、GLM-5.2、DeepSeek-V4-Flash。
- 有趣发现:部分 LLM(如 SpecTeach 上 Claude/Gemini/Kimi 达 96-100)在可能见过训练数据的基准上表现异常高,暗示基准污染;真正未见过的实验数据集(NMRexp)上差距最明显。
- 作者认为自 Claude Opus 4.8(6 月)起,LLM 已突然具备像化学家一样解读 NMR 谱图的能力,标志 LLM 达到可用于科学任务的水平。
所属事件:普林斯顿发布 ChefNMR2:从 NMR 谱自动解析分子结构(6 条相关)→
「模型」频道最新
- 用 Opus 做出 Spider-Verse 风格 2D 动画，社区疑其路由至 Fable 5.5 — minchoi · 2026-11-03
- 「Fable 5.5」演示续:一提示词生成鹈鹕骑马开自行车,代码动画动感十足 — minchoi · 2026-11-03
- 「Fable 5.5」单提示词产出完整 3D 开放世界 RPG,四模型横评差距明显 — minchoi · 2026-11-03
- 博主实测传闻中的 Claude Fable 5.5:奔跑长颈鹿测试胜过 Opus 5.5 — minchoi · 2026-11-03
- Fable 5.5 零提示词生成可交互 3D 帆船,传周二或正式发布 — minchoi · 2026-11-03
- Qwen 底模 93% 答案跑死循环，某「6 倍提升」疑破基线虚高 — paul_cal · 2026-11-03