论文称选择性冻结参数可降低持续预训练成本
ttkciar · reddit · 2026-08-04
通过选择性抑制知识参数，降低持续预训练遗忘风险
这篇论文 Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression 讨论的是：如何在继续预训练时尽量避免灾难性遗忘。
- 核心思路是先识别出那些可以安全修改、而不会破坏已知概念的参数，再把其余参数冻结起来。
- 作者认为，现行做法通常要把新数据混进大规模旧数据里一起训练，这虽然有效，但会让训练成本增加 一个数量级甚至更多，因为旧数据也得反复回放以强化旧知识。
- 如果这种选择性抑制方法可行，就可能不再需要把新旧数据大规模混合，模型只用新数据也能较安全地保留旧知识。
- 帖子链接的论文是 arXiv:2604.19089v1。
「研究」频道最新
- OpenAI 揭秘：6 个月打造 GPT 实时低延迟语音系统 — borowcy · 2026-08-04
- 浏览器版 MCP 扫描器可查出命令执行、密钥和反序列化风险 — KookyTax5493 · 2026-08-04
- AI 在数学上的突破，正在成为最关键的指标 — Dr_Singularity · 2026-08-04
- 文本条件缩放研究：结构化提示提升视觉生成 — shangbinfeng · 2026-08-04
- 同一模型换个 Harness，行为会因协议不同而大变 — remilouf · 2026-08-04
- David Adelani：非洲语言仍需要面向本土的语言模型 — davlanade · 2026-08-04