Atlas 神经元:无反向传播也抗遗忘,20 任务后达 96.7%
CatAstro_Piyush · x · 2026-10-01
博主 iarthsingh 发帖介绍其新文章「Atlas neuron」,探讨持续学习问题:模型能否在没有 replay、没有任务标签、没有反向传播的条件下逐个学习任务而不遗忘?
- 在 Permuted MNIST 上连续学习 20 个任务后仍达到 96.7% 准确率
- 对比:顺序训练的 MLP 在同样设置下只剩 45%
- 属于非典型训练范式研究,具体方法细节在原帖线程中展开
「研究」频道最新
- HCOMP 2026 末场聚焦:跨线上与物理环境的错误信息信念研究 — windx0303 · 2026-10-01
- Meta-Reasoning 论文:把执行策略纳入推理,ProgramBench 上超 Codex 13.5 分 — anirudhg9119 · 2026-10-01
- 推理时扩展新思路:关键不是算多少,而是怎么组织计算 — anirudhg9119 · 2026-10-01
- Meta 团队提出 Agentic Meta-Reasoning:让模型自建推理计算图 — anirudhg9119 · 2026-10-01
- FINGR 灵巧手用连续手指动作复原二阶魔方 — HaozhiQ · 2026-10-01
- 19和21维接触数下界刷新：τ₁₉≥12268、τ₂₁≥30761 — felpix_ · 2026-10-01