Stanford NLP 讨论:模型深度-宽度比已成行业共识参数
stanfordnlp · x · 2026-09-05
Stanford NLP 账号转发讨论 CS336 课程中关于模型参数缩放的对比。回复指出,决定模型表现更关键的是深度-宽度比(depth-to-width ratio,以及 MoE 架构),而业界在这个参数上已基本收敛,各家模型在此维度上相差不大。
「研究」频道最新
- 陶哲轩回应传闻：否认暗示 AI 实验室攻克 Navier-Stokes 难题 — elsleightholm · 2026-09-05
- 因果推断新综述:双重稳健灵活调整方法的系统评测 — RexDouglass · 2026-09-05
- 开源 GPC:用采样式预测控制自造数据,训练流匹配机器人策略 — rsasaki0109 · 2026-09-05
- 系列博文重推 AdaGrad:用上界最小化完整复原自适应梯度收敛推导 — aaron_defazio · 2026-09-05
- 研究盘点医学期刊开放科学政策与实践现状 — RexDouglass · 2026-09-05
- 数学家补充：模型不只是一次性解题，专业数学家正这样用 AI — littmath · 2026-09-05