模型足够小,每尺度256次随机搜索其实很便宜
giffmana · x · 2026-09-22
由于模型极小，论文中每尺度 256 次随机搜索的成本其实不高。但作者提醒：随机搜索的次数只有在说明采样域时才有意义，并给出了论文采样的超参分布——lr 范围偏宽，其余（AdamW、WSD 调度）看起来合理。
所属事件:FAIR与NYU论文把缩放律推到4M参数(7 条相关)→
「研究」频道最新
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- Gemini 几乎自主完成「血染钟楼」社交推理 benchmark 实验 — eliebakouch · 2026-11-12
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12