研究：「单次事实」占比决定 LLM 科学发现能力
CatAstro_Piyush · x · 2026-11-04
arXiv 论文《Tracing the Scientific Discovery Capacity of LLMs to Their Training Data》（Johns Hopkins 团队等）提出「monofacts」概念——训练中只被观察到一次的事实——认为它决定了 LLM 的科学发现能力。
关键发现：
- 在材料科学与调控基因组学两个领域，人为提高训练集的 monofact 比例，在两个开源权重模型家族、多种采样策略与推理预算下均稳定带来更多「发现」。
- 该效应无法仅用训练集多样性解释。
- monofact 的收益在与领域内数据配合时可跨科学领域迁移。
结论：训练数据中的 monofact 比例是支配 LLM 科学发现能力的关键因素。
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04