LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models
Pavel Tikhonov, Elena Tutubalina, Ivan Oseledets, Dmitry I. Ignatov, Mikhail Seleznyov
cs.CL
2026-09-26
读 Qwen3 隐藏层的分类器给 OEIS 全部 5000 万对序列排序,agent 逐条提出并验证关系:8 小时得 62 条已验证关系,4 条文献未见。
模型已经能证奥数题、能解开放问题清单里的条目,但「研究哪个问题」仍由人决定,论文把这叫 AI 辅助数学的瓶颈。已有选题系统的信息源,要么是文献里写下的开放陈述,要么是知识图谱的拓扑缺边,要么是模型在给定话题内的自由生成。这篇换了信息源:预训练读过的数学,有没有一部分存在隐藏层里,能直接拿来判断哪两个对象值得放在一起看?
测试床选 OEIS(整数数列在线百科):对象定义明确,人已注意到的关系记录在 cross-reference 里,任何精确断言都能拿存档的前几十项做廉价验证。
四步流水线:
主配置漏斗:5000 万对 → 500 → 118 → 44,44 条全部通过双重验证。三个配置合计 62 条已验证关系;内容筛掉换记号、纯定义推论后剩 13 条,9 条评为 informative 或 insightful,4 条在 OEIS 与定向文献检索中均无踪迹。全流程不到 8 小时,5000 万对打分只占 8 分 20 秒。
| 对照 | 激活分类器 | 基线 |
| 主题匹配 ROC-AUC(793 条新链接) | 0.57-0.58 | 表层文本 0.51(随机水平) |
| 42 条实质新链接 AUC | 0.67-0.69 | 表层文本 0.61 |
| 知识截止后新建的 2379 个条目 | 0.88 | 旧条目上 0.89 |
对照组是全文最扎实的部分。文本基线与激活分类器同构、只换输入表示,说明定义文字只够判断主题,同主题内谁与谁真有关系的额外信息在激活里。截止日期后新建条目上 AUC 0.88,基本排除「背 OEIS 页面」的解释。直接问 Qwen3-32B 两段定义关系多深(0-9 分),中位百分位 88.5,与分类器的 88.0 持平:信号在模型里,不在训练标签里,分类器的优势是吞吐。排序信号绝对值不算强,真正兜底的是可执行验证。
4 条新发现里最干净的两个:一维 Rule 150 元胞自动机的活细胞数完全决定二维 Fredkin 复制机的种群数,g(k)=f(k)²−f(k−2)² 按 n 的二进制游程组装;Rogers–Ramanujan 连分数五次方乘一个 theta 商的平方,恰是 5-core 分拆的生成函数。
选题是 AI 数学里被反复讨论的缺口,这篇给出一个可复制的低价范式:隐藏层当先验,知识库已记录关系当弱监督,可执行验证当裁判。任何「对象有定义、关系有记录、断言可机器验证」的知识库理论上都能套。对 interpretability 从业者,这是 residual stream 存有可利用结构化知识的又一证据,而且是拿它干活,不只做探针分析。
产出密度要诚实看:62 条里 49 条被筛掉,新知识实为 4 条。选题系统的合理度量是单条新发现的成本,论文只报 8 小时耗时,未报 API 开销。
作者自己承认两条:OEIS 是格外结构化的测试床,条目有人写的定义、公式、存项和显式引用,语料偏向高频序列,换到对象不形式化或关系不显式记录的知识库是否成立没验证;只测了 Qwen 一个模型家族。
读来另有几处。附录 D 承认排序头部不稳:两个只差 PCA 选层的探针在 50 万随机对上打分相关 0.5,top-100 却只共享 1 对,漏斗顶端对实现细节敏感。附录 F 明说全部推导由语言模型生成,未经数学家检查。N2 只表示定向检索未找到,不构成优先权主张。S/N 两轴评级同样出自模型评审。