DEFT 把网络分成 Core 与 Slack 阻断遗忘
TheGradient · x · 2026-07-24
机制怎么理解
这部分继续解释 DEFT 的分区方法：用 Hilbert 范数把更“重要”的神经元划入冻结的 Core，其余部分作为可训练的 Slack。随后通过合并冗余节点来压缩 Core，再用结构性掩码切断 Slack 回流到 Core 的路径。
这样做的好处
作者把它比作一个单向阀：新任务的更新可以在可塑的一侧发生，但不会反向污染稳定的基础表示。其目标是比普通微调或软正则更强地保证“旧知识不被忘掉”。
所属事件:DEFT 持续学习新架构：Core-Slack 分区防遗忘(3 条相关)→
「研究」频道最新
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27
- 一个问题追问多智能体分支如何随算力和模型规模变化 — iskander · 2026-07-27
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27