研究:LLM 学得会原子种类学不会空间结构,材料基准分高≠真懂

bravo_abad · x · 2026-10-13

Alampara 等人的研究指出,给语言模型原子坐标并不保证它学到结构信息。研究者构建了可控合成数据集,让答案分别取决于粒子种类或粒子间距离,结果模型学「种类」远比学「空间关系」容易。同样的隐忧出现在晶体性质基准上:含显式原子坐标的文本描述,效果并不优于只描述局域化学环境更简单的文本。即使把微调后的 Llama-2 从 7B 扩到 70B,也无法缩小与使用真实几何信息的图神经网络(GNN)的性能差距。结论:良好的基准分数不能证明材料模型真正分辨了原子排布——金刚石和石墨都是碳,性质差异全在结构。