研究推出 dropout 缩放律：按激活参数量用 sigmoid 公式定最优 dropout
gordic_aleksa · x · 2026-10-16
gordicaleksa 分享了一项研究进展：用类似缩放律的推导方法，得到了针对 dropout 的缩放公式——Dropout = sigmoid(0.526(log ActiveParams − 27.2))，即最优 dropout 率可由模型激活参数量（ActiveParams）通过该 sigmoid 形式预测。配文调侃：努力冲前沿的模型，「活得够久」就能总结出自己的 dropout 缩放律。
「研究」频道最新
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 研究者主张电路视角可解释深度学习大部分“神秘”现象 — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16
- 斯坦福新开「深度学习炼金术」课程，小模型实验+预测测验教实证直觉 — stanfordnlp · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16