The Alien Space of Science: Sampling Coherent but Cognitively Unavailable Research Directions
Alejandro H. Artiles, Martin Weiss, Levin Brinkmann, Iyad Rahwan, Bernhard Schölkopf, Christopher Pal, Hugo Larochelle, Anirudh Goyal, Nasim Rahaman
NeurIPS 2026 Main Track
cs.AI, cs.LG
2026-03-01
把 LLM 论文拆成概念原子,按「连贯但想不到」采样,多样性远超 Claude,质量持平,还能 35.9 倍随机命中次年论文组合。
LLM 做科研选题有个结构性毛病:模型在文献分布上训练,让它提新想法,输出多半落在文献的高密度区,把时髦概念重新排列。人类社区受同样的约束,研究者继承概念、方法、合作网络和学科直觉,于是有些方向在文献视角下完全成立,却没有任何现有社区处在能想到它的位置。论文把这块区域叫「外星空间」(alien space):连贯,但认知不可达。要做的事是把「科学上说得通」和「社区想得到」拆成两个可学习的量,专门去搜后者概率低的区域。
采样即给全部 335 万个三元组合打分,按 (1−β)·连贯 + β·不可达 排序(β=0.7),选出的组合交 LLM 解码成研究想法。两个小模型几小时训完,排序全空间不到 15 分钟,全程不对单个候选调 LLM。
300 个想法的组合多样性(Vendi 分数等于有效不同想法数):
| 方法 | Vendi | 有效原子数 | 近重复率 |
| Alien(β=0.7) | 225.2 | 198.0 | 51.3% |
| Claude Opus 4.7(batch) | 197.9 | 191.7 | 81.7% |
| Claude Opus 4.7(独立 300 次调用) | 56.5 | 28.7 | 96.3% |
| Gemini 3.1 Pro(独立) | 97.4 | 56.2 | 94.0% |
| 均匀随机 | 250.4 | 236.3 | 8.0% |
单想法质量没掉:10 位硕博背景评审的 40 份盲评里,Alien 与 Claude 总评打平(4.03),Alien 的新颖性和可行性最高(各 3.90)。GPT-5.5 盲测锦标赛胜率 55.6%,各方法只留前一半再赛时升到 72.2%(Claude 掉到 27.8%)。40 个想法过自动研究管线后,Alien 报告平均排名百分位 0.633 居首、前 5 名占 3 篇;Claude 的报告有 8/10 塌缩到 interpretability 主题,Alien 为 0/10。
时间验证最硬:词表与两个模型只用 2024 及以前数据(191 个原子),排序全部 114 万个三元组。top 10,000(0.875% 的空间)命中 2,424 个 2025 论文组合中的 762 个,为随机的 35.9 倍;β=0.4 时命中 453 个,其中严格新颖组合(三个原子此前从未同篇共现)40 个,为随机的 3.24 倍,新颖占比从 3.8% 升到 8.8%。ICLR 2025 oral 的 Judge Decoding 从 β=0 的第 1,489 名升到 β=0.5–0.6 的第 1 名。可达性还能泛化:对 3,186 个训练集里没有的 2025 新作者,模型能把作者匹配到其从未发表过的原子组合,AUC 0.656,原子重叠基线只有 0.45。
它给 AI 科研补了一个评估轴:想法新不新之外,还要问现有社区想不想到,且这个信号可学习、可加权。工程账也划算:小模型一次训练反复复用,LLM 只在解码阶段进场;prompting 方案每轮采样都要重新调 LLM,领域扩到全 AI(约 3 万原子)时成本会失控。质量结论是打平最强基线,收益集中在组合层面,属于机制创新,不是单项碾压。
作者自认:只能重组文献里已有的概念,造不出新原语;可达性从发表记录推断,漏掉未发表想法与失败尝试,只是下界;人类评审仅 40 份,质量证据主要靠 LLM judge(与专家一致率 68%,高于专家互评的 58%,仍是代理);可行性要等自动研究管线烧完算力才暴露;最有力的纵向验证要等数年,一年期恢复实验只是早期代理。
读下来的疑点:2,424 个目标里只有 1,411 个严格新颖,纯连贯模式的 35.9 倍多数是在重新命中已共现组合;「外星」只相对语料覆盖的社区成立;可达性分不清「想不到」与「出于伦理回避」,作者承认双用途领域有风险,目前靠语料本身当护栏。另有披露:两位作者是资助方 Tiptree Systems(商业科研发现工具公司)联合创始人,一主在该公司实习期间完成本工作。