模型参数化更新的灾难性遗忘，将推动检索增强成为核心

coallaoh · x · 2026-08-13

作者认为，如何在不全量更新模型参数的情况下存储和检索知识，将在 2027 年成为 AI 领域的最重要议题之一。全量参数更新会不可避免地带来灾难性遗忘和幻觉问题。

在引用的上下文中，KAIST AI 宣布将在 2026 年秋季开设《Information Retrieval for AI》课程。该课程指出模型权重本质上是对世界有损且冻结的压缩，因此系统必须依赖信息检索来触达剩余知识。课程内容横跨从稀疏检索（如 BM25）到密集检索，以及从参数化（权重、MoE）到非参数化（前向传播中的索引、RAG）的完整光谱。