研究：仅改变数据表示形式，多模态模型科学决策准确率波动达 41 个百分点

Ziyuan Wang · hf · 2026-11-13

一项针对多模态模型科学决策一致性的研究测试了模型在等价光学光谱表示上的表现：

用硅超表面（MOCLIP）和金纳米颗粒的实测光谱，将同一数据以 4 种表格（nm、μm、科学计数法、eV）和 2 种图（nm、eV）呈现，评估 d3-nano、Jev 1.13、三种 GPT-6 Luna 配置与 Qwen3.5-2B。
仅改变表示形式即可使同一模型准确率波动最高 41 个百分点，主要出现在光子能量的表格和图上；用 eV 而非波长提问，对不同模型组±1650 或 -25 个百分点。
缺失关键数据时，未适配的模型很少回答「无法确定」。
LoRA 微调虽提升比较准确率，但其在不可答问题上的收益部分来自捷径：只要输入被截断就弃答。用「可答的截断样本」训练可在全部 6 个种子上规避该捷径，弃答差距达 90100 个百分点。
结论：用于科学决策的多模态模型应在等价表示与缺失证据上测试，而非只看平均准确率；任务、逐条结果与分析代码已开源。

「研究」频道最新