缩放律小模型端:每尺度需256次随机搜索才得良好拟合
giffmana · x · 2026-09-22
论文的关键发现：模型越小，调"无聊"超参越重要。用随机搜索调参时，每尺度只取 4 组超参的最优值去拟合缩放律会得到荒谬结果（BPC loss >2），但每尺度跑 256 组后拟合明显变好。作者也指出：论文竟没说明如何选取拟合用的数据点——对 4M 模型，最后一个点明显偏离了拟合线，这对结果可信度有影响。模型最小做到 4M 仍能有不错的拟合。
所属事件:FAIR与NYU论文把缩放律推到4M参数(7 条相关)→
「研究」频道最新
- 新基准 Continual-ARC：主流 Agent 都学不会经验，9B 模型微调反而可以 — alifcoder · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- Gemini 几乎自主完成「血染钟楼」社交推理 benchmark 实验 — eliebakouch · 2026-11-12
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12