初始权重训练后依然可读：画进模型的笑脸 survive 全程训练

danbri · x · 2026-11-13

willdepue 用一个直观实验科普机器学习的基本原理：模型本质就是数十亿到数万亿个权重数字，训练前这些权重用随机数初始化，训练会大幅调整大多数初始权重，但不会彻底重写——有些权重从未被动过，其余的也仍与初始值相关。

因此初始权重在训练完成的模型里仍可被读出。配套配图显示：训练前在一层权重里画出的笑脸图案，经 SGD 训练到 97.6% 准确率后依然清晰可见。