4M 参数小模型也服从 scaling law,但只在调优前沿上成立
karen_ullrich · x · 2026-10-29
同上线程分论点:作者展示即使 4M 参数的小模型,只要超参仔细调优,scaling law 同样涌现。配图为各规模(4M–268M)大量训练 run 的验证损失曲线,黑色虚线标出的「fully tuned frontier」才是 scaling law 描述的对象,而多数 run 远离这条前沿——说明小尺度下找全调优前沿出奇困难。
所属事件:Meta/NYU 研究证实 4M 参数小模型仍服从 scaling law(5 条相关)→
「研究」频道最新
- Ben Recht 撰文质疑"硅基采样"：LLM 替代人做调研为何值得怀疑 — beenwrekt · 2026-10-29
- Mila 团队开源 Harpia：无人机加 AI 一天完成人工数月的森林逐树监测 — Mila_Quebec · 2026-10-29
- Sakana AI 摘得 OpenMath 2026 数学黑客松公司组冠军，贡献 14 个数学族 — SakanaAILabs · 2026-10-29
- 53 次实测仅 10 次生效：作者坦白激活转向 Helm 的真实成功率 — leolambertini · 2026-10-29
- Ofir Press：千禧年大奖难题是当今最佳 AI 基准，预言一年内七成数学开放题被解 — OfirPress · 2026-10-29
- Meta 与牛津发布 OverSeer 多智能体世界模型，Minecraft 一致性任务最高提至 60.2% — armand_ruiz · 2026-10-29