实验：网络从 4 层加到 64 层，仅 17356 参数画质提升有限
halvarflake · x · 2026-10-21
Matthias 系列实验帖展示了一组 4-64 层 ReLU 网络（宽度 16）对同一张齐达内倒钩图像的重建对比：固定 25000 训练像素、相同 minibatch 与种子，仅改变深度。
关键观察：
- 参数量从 4 层的 1136 增至 64 层的 17456，验证准确率仅从 66.4% 升至约 72%，且 24 层后基本饱和（71%-72.5% 区间震荡）。
- 更深网络的视觉收益集中在细部（草地纹理、边缘细节），主体结构在浅层时已大致成形。
- 结论指向：在此类小规模拟合任务上，深度的边际收益递减明显。
「研究」频道最新
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- MiTaS 多分辨率触觉模仿学习登场：成功率 80% 远超纯视觉基线 35.5% — Jan_R_Peters · 2026-10-23
- PyMC Labs 将开源 MFM：基础模型一次前向完成贝叶斯营销组合建模 — twiecki · 2026-10-23
- 新预印本：大脑区域任务状态下会动态调整信息整合时间尺度 — pshrink · 2026-10-23
- DeepMind 与 UPenn 用稀疏自编码器打造可解释 AI 文本检测器 — rohanpaul_ai · 2026-10-23