Cohere 深度综述 scaling laws:50篇论文多未报复现细节
Cohere · youtube · 2026-09-19
Cohere Labs 系列讲座,由 Sneha Kudugunta 讲解 scaling laws 综述研究:
- 现代 foundation model 依赖 scaling law 指导关键训练决策,研究者常从小规模训练外推最优架构与超参
- 拟合的方程、训练设置、优化方法等因素都会影响拟合出的规律,导致不同研究结论互相矛盾,例如最优 token/参数比
- 团队分析了细节变化对 scaling 研究结论的关键影响,并调研了 50+ 篇研究 scaling 趋势的论文:其中 45 篇用幂律量化趋势,但大多缺少复现所需的关键细节
- 为此提出一份作者 checklist,供 scaling law 研究贡献者参考
「研究」频道最新
- AM-Bench:空中机械臂仿真基准,揭示开环不稳定系统策略学习全链路 — GuanyaShi · 2026-09-19
- 开发者着手构建首个 Jev 开源复刻项目对比基准 — airesearch12 · 2026-09-19
- 研究发现:科学之美与影响力出人意料地正相关 — jacobkimmel · 2026-09-19
- 把 reranker 改成决策引擎,Jev 式 API 电车难题永远拉杆 — gaganghotra_ · 2026-09-19
- 连续扩散语言模型新技巧：仅增 1-3% 推理算力即可引导生成 — itsbautistam · 2026-09-19
- 用 LLM 算历代名将 WAR:拿破仑稳居历史第一 — ctjlewis · 2026-09-19