自编码器实验再证：去除激活偏置让表征演化单调平滑
ZimingLiu11 · x · 2026-10-31
Ziming Liu 训练技巧系列的续篇：在自编码器设置中，带激活偏置的模型在训练早期就能从偏置分量中恢复出可辨识的图像内容，但后期依赖减弱；而去除偏置后的模型表征演化呈明显单调，偏置分量几乎不携带图像内容。
与上一条呼应：平移激活函数（ReLU−0.2 等）不仅降低后期损失，还让表征学习轨迹更平滑、可预测。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「研究」频道最新
- 两张考试卷讲透过拟合：背题学生 vs 理解概念的学生 — cneuralnetwork · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- EdgeRock-4B 开源：KV 缓存固定 72MiB，比基座省 99.1% 显存 — testingcatalog · 2026-10-31
- Claude 写的 Muon 优化器定理被实测：数值验证到小数点后四位 — vxnuaj · 2026-10-31
- 开发者求助：Claude 写出的 Muon 优化器数学理论深到没人能验证 — vxnuaj · 2026-10-31
- 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31