持续学习实验日志：SGD+PCA 回放达 91.1%，附完整代码
BlackHC · x · 2026-09-16
作者总结自己在小型持续学习（continual learning）基准上的一整条实验阶梯，并放出含完整 ladder、图表与代码的研究日志：
- SGD + PCA 回放：每任务从 2 个 epoch 增加到 4 个，准确率到 91.1%；常规联合训练（10 遍全部数据）为 95.2%——不同预算下的有用参考，而非上限。
- 核心心得：检查评测指标隐藏了什么；把 loss scaling 当作优化器设置的一部分来调；Adam vs SGD 的结果出人意料。
对一个玩具基准、3 个随机种子做的系统探索，适合想动手玩持续学习的人复现。
所属事件:BlackHC 持续学习玩具实验：PCA 回放达 91.1%(6 条相关)→
「研究」频道最新
- antirez 开源 DwarfStar 融合内核库,MIT 许可随便拿去用 — antirez · 2026-09-16
- 30 岁的 BM25 为何在 Agent 检索中卷土重来:推理不是瓶颈 — AI Engineer · 2026-09-16
- Recurrent Looped Transformer:复用最终隐状态换取更深推理 — WebAssemblyMan · 2026-09-16
- Berkeley 团队用探针微调模型,任意调节风险厌恶程度 — soumitrashukla9 · 2026-09-16
- 3 张 3090 跑 1M 上下文:Qwen3.8-Flash-Next 的 KV cache 可卸载到内存 — sadnessdevil · 2026-09-16
- 经济学家提出用 LLM 当行为研究'实验小白鼠' — austinc3301 · 2026-09-16