BlackHC 持续学习玩具实验：PCA 回放达 91.1%

@BlackHC 发布了一整条持续学习玩具实验阶梯并放出完整代码、图表与研究日志。他让 Claude 自动化研究一个玩具级问题：小型 MLP 按 0/1 → 2/3 → … → 8/9 顺序学习 Split MNIST，每阶段只用当前数字对的训练图，最后在全部十类上测试（3 个种子取平均），考察网络能否学新不忘旧。

已确认

• 换成逐对 BCE 损失后，十类准确率从 19.4% 升到 58.1%：旧输出权重虽无直接更新，但共享网络隐层仍在变化，预测会漂移，因此需要惩罚对旧预测的改动。
• 发现一个隐蔽调参坑：BCE 从求平均改为求和后，准确率反而下降 7 个点。
• 生成式 PCA 回放方案：每类用一个均值向量 + 10 个 PCA 方向压缩像素并采样合成输入，配合保存旧预测、惩罚漂移，达 90.2%；SGD + PCA 回放把每任务训练从 2 个 epoch 提到 4 个后达 91.1%。
• 参照系：常规联合训练用 10 遍全部任务数据得到 95.2%，但两者计算预算不同。

为什么重要

• 实验展示了 LLM 自动化科研流程在一个小问题上的完整迭代路径（任务设计 → 损失修正 → 回放机制 → 调参），并强调损失实现细节（求和 vs 求平均）可能带来数个点的隐性差异，对复现他人持续学习结果有警示意义。
• 作者明确说明这只是玩具基准、种子数仅 3 个，结果不应过度外推。

2026-09-16 ~ 2026-09-16 · 6 条相关

• 小 MLP 顺序学 0-9 数字：持续学习玩具实验结果 — BlackHC · 2026-09-16
• 持续学习实验:换成逐对 BCE 损失,准确率从 19.4% 升到 58.1% — BlackHC · 2026-09-16
• 【源头】损失约定隐藏调参：BCE 从求平均改求和，准确率反降 7 个点 — BlackHC · 2026-09-16
• 均值+10 个 PCA 方向做生成式回放，持续学习达 90.2% — BlackHC · 2026-09-16
• 【源头】同基准不同预算：PCA 回放 91.1% vs 联合训练 95.2% — BlackHC · 2026-09-16
• 【源头】持续学习实验日志：SGD+PCA 回放达 91.1%，附完整代码 — BlackHC · 2026-09-16