给基因模型「泄题词」全删后成绩几乎不变,LitGene 过严格盲测

bravo_abad · x · 2026-10-21

要测试 AI 基因模型是否真学到东西，可以把「泄题词」删掉再看：如果基因描述里写着「DNA repair」，模型答对可能只是词面匹配。Macaulay 等人对语言模型 LitGene 做了这种检验——该模型用对比学习把基因描述与已知生物功能关联，在表示空间中把相关概念拉近。

评测时作者从描述中删除功能名称与同义词，改动了 84.5% 的基因摘要，但模型区分相关/无关基因的能力几乎不变。第二项测试删除生物通路名称后，通路检索得分从 0.5510 降至 0.5493，几乎持平。说明模型确实学到了超越词面线索的生物学关系，这种「去泄题」评测思路对各类领域模型都有借鉴价值。