持续学习实验:换成逐对 BCE 损失,准确率从 19.4% 升到 58.1%
BlackHC · x · 2026-09-16
作者用 Claude 做了一次玩具级持续学习的自动化研究,在小 MLP 上按 0/1 → 2/3 → … → 8/9 的顺序学习 Split MNIST,每阶段只用当前数字对的训练图,最后在全部十类上测试(3 个种子取平均)。
- 全十类交叉熵 + SGD:最终准确率仅 19.4%;但若把同一模型的答案限制在正确的一对数字里选,准确率高达 97.5%——说明十类准确率差,模型内部仍保留了对内区分能力
- 换成只对当前一对输出算二元交叉熵(BCE):十类准确率升至 58.1%;旧输出的权重虽无直接更新,但共享网络的隐层仍在变化,预测可随之改变
- 对比优化器:Adam 下对应数字为 19.6% vs 71.3%,Adam 引起的遗忘比 SGD 更严重
所属事件:BlackHC 持续学习玩具实验：PCA 回放达 91.1%(6 条相关)→
「研究」频道最新
- antirez 开源 DwarfStar 融合内核库,MIT 许可随便拿去用 — antirez · 2026-09-16
- 30 岁的 BM25 为何在 Agent 检索中卷土重来:推理不是瓶颈 — AI Engineer · 2026-09-16
- Recurrent Looped Transformer:复用最终隐状态换取更深推理 — WebAssemblyMan · 2026-09-16
- Berkeley 团队用探针微调模型,任意调节风险厌恶程度 — soumitrashukla9 · 2026-09-16
- 3 张 3090 跑 1M 上下文:Qwen3.8-Flash-Next 的 KV cache 可卸载到内存 — sadnessdevil · 2026-09-16
- 经济学家提出用 LLM 当行为研究'实验小白鼠' — austinc3301 · 2026-09-16