论文：LLM 持续预训练中的概念学习与遗忘，电路拓扑给出信号
tokenbender · x · 2026-08-24
arXiv 新论文《How Do Large Language Models Learn Concepts During Continual Pre-Training?》（UC Davis、Virginia Tech、UCLA、Meta AI 合作）研究 LLM 在持续预训练中如何获取、保留和遗忘概念。
主要发现：
- 概念电路（与特定概念相关的内部计算子图）为概念学习与遗忘提供非平凡且一致的信号；
- 概念电路在持续预训练中呈阶段性时间模式：先增长、再缓慢下降、最后稳定；
- 学习增益越大的概念，在后续训练中遗忘也越严重；
- 语义相似的概念之间产生比弱相关概念更强的干扰；
- 不同概念知识的可迁移性不同，一些概念能显著促进其他概念的学习。
「研究」频道最新
- Halcyon：0.52B 参数省 18 倍算力超越 LlamaGen-XL/8 文生图基线 — JosephJacks_ · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16