约翰霍普金斯论文:训练数据单次出现的事实越多,LLM 科学发现率越高
rohanpaul_ai · x · 2026-11-06
- 约翰霍普金斯大学新论文(arXiv:2611.03617)提出:训练语料中「monofact」(仅出现一次的事实)的比例决定了 LLM 的科学发现能力。
- 作者在材料科学与调控基因组学数据集上微调 gpt-oss-20b 和 gemma-3-12b-it,将 monofact 占比从 0% 提到 100%,发现率随之稳步上升,且该关系无法仅用数据多样性解释,跨两种模型家族、采样策略与推理预算均成立。
- 多轮训练(3 或 5 epochs)会把单次见闻变成重复,趋势随之消失。由于发现与幻觉本质都是产出训练中未见的内容,更多发现必然伴随更多幻觉。
- 实践建议:构建科学模型时应保留稀有的一次性样本、避免数据重复。
所属事件:研究称训练数据单次事实占比决定 LLM 科学发现能力(2 条相关)→
「研究」频道最新
- Wayve 发布十年研究结晶：用学习式安全替代规则系统 — alexgkendall · 2026-11-06
- Wayve 拆解 Learned Safety 三支柱：包络、GAIA 验证、语言接地 — alexgkendall · 2026-11-06
- 陌生人免费帮癌症患者用开源 AI 建模ALK耐药突变,设计后备药物 — anshulkundaje · 2026-11-06
- SO3LR Tauri 发布:1.48 亿结构训练的统一 ML 力场覆盖全周期表生物分子 — DaveJuergens · 2026-11-06
- 论文因「纯描述性」被拒,经济学家为 AI 就业研究辩护 — soumitrashukla9 · 2026-11-06
- 6,662 次决策实测:专用决策模型 Mammoth-1 均分 80.9%,反超最强小 LLM 约 3 分 — pournasserian · 2026-11-06