把 SGD 建模为渗流过程:解释训练中方差尖峰与相变行为
Sai Niranjan Ramachandran · hf · 2026-09-04
将随机梯度下降动力学建模为渗流过程：架构对称性使子网络以离散块方式合并，产生类似相变的方差尖峰；类似的重尾噪声陷阱行为也出现在 Adam 和 AdamW 中。
「研究」频道最新
- LLaDA-Image 发布:6B 扩散模型全开源训练配方出写实图像 — iScienceLuvr · 2026-09-04
- AI BioDesign 研究加速器成立,联手 UW Medicine 用 AI 设计生物工具 — AllThingsApx · 2026-09-04
- Sarvam AI 开源 Vāgartha：近 22 万条梵文诗句配详解数据集 — selfawareatom · 2026-09-04
- ORNL 用 AI 操控显微镜探针,连续 25 小时逐分子搭建材料 — Scobleizer · 2026-09-04
- zackmdavis 提「胚胎选择」替代 GPU：附 Gwern 智力胚胎筛选成本收益长文 — zackmdavis · 2026-09-04
- OpenAI 研究员:GPT-6 思维链可控性随 RL 训练持续上升 — gleech · 2026-09-04