微调 Qwen 实测追踪每步最优学习率,揭示 warmup 的价值
gautamcgoel · x · 2026-10-14
Soufiane Hayou 分享了在 GSM8K 上微调小型 Qwen 模型时逐步追踪最优学习率的结果,得到一条具体曲线,显示 warmup 通常是好的实践。作者强调这是贪心的每步最优学习率,而非全局最优调度——计算后者的代价要高出几个数量级。Gautam Goel 转发称该图对如何选择贪心每步最优 lr 很有启发。
「研究」频道最新
- 开发者整理 100+ 社会科学免费数据集清单并开源在 GitHub — _akpiper · 2026-10-14
- AI 等颠覆性技术为何总等出事才监管？学者期刊发文解析 — mchorowitz · 2026-10-14
- MIT 教授预言 AI for Science 十大走向:可执行论文与机器发明文明 — ProfBuehlerMIT · 2026-10-14
- 瑞典斥数亿克朗重回纸质教材，280万儿童研究指屏幕伤学习 — Eric520CC · 2026-10-14
- 自进化搜索红队测试:发现有害工具调用路径是此前方法 1.77 倍 — lulzxdxdxd · 2026-10-14
- Google 研究员:通用能力+工具使用,正取代医疗领域的专用建模 — davidstutz92 · 2026-10-14