COLM 2026 论文：大模型训练中文献与 STEM 数据影响随阶段变化
SinclairWang1 · x · 2026-08-17
这篇被 COLM 2026 接收的论文提出了一种任务无关的影响力测量方法，用于分析语言模型预训练过程中训练数据的影响。
主要发现包括：
- 训练早期，文献类数据的影响更为显著。
- 训练后期，STEM（科学、技术、工程、数学）类数据的影响力逐渐占据主导。
这一发现揭示了模型在预训练不同阶段对不同类型知识域的依赖性变化。
「研究」频道最新
- 发布 5B 参数 LittleLearner 模型，模拟人类知识获取过程 — ELLIS-Institute-Tuebingen · 2026-08-17
- 字节清华发布 CUDA-Agent：RL 生成高性能内核 — AIFlow_ML · 2026-08-17
- 谷歌论文：事实明明存在，模型却依然产生幻觉 — dejanseo · 2026-08-17
- 首场人形机器人 11 分制乒乓球对局：SMASH 2.0 实现全自主互搏 — 量子位 · 2026-08-17
- 7 个免费学透 LLM 的 YouTube 频道：从 Transformer 原理到实战应用 — goyalshaliniuk · 2026-08-17
- 生成式AI统计方法资源推荐 — RexDouglass · 2026-08-17