数学家分享四步超参调优启发式:粗播种加敏感性筛选
dejanseo · x · 2026-09-23
数学家 Sylvain Deaure 分享他常用的低成本调参启发式(自认不聪明但便宜):
- 粗播种:手工挑选少量分布间距很宽的真实起点,目标是确定边界而非精度;用绝对指标而非排名评分,排名会让人打磨无意义的微小差异。
- 敏感性筛查:从最优种子出发,对每个参数单独大步移动,得到每个参数的粗略局部斜率——通常只有 2-3 个参数起决定作用,其余都是噪声。
- 坐标搜索:固定其他参数,优化最敏感的参数。
- 交互检查:将该参数固定在两个水平上,扫描第二敏感的参数;若最优值移动,说明两者耦合,需对这一对参数联合搜索。
「研究」频道最新
- EPFL 量子 CNN 仅用 10 个样本学会识别数字,同级经典 CNN 仍是随机水平 — PlisSergey · 2026-09-23
- 新论文 PFD 统一解释 SDS 模式坍缩，蒸馏收敛更快方差更低 — burny_tech · 2026-09-23
- 剑桥出版高维统计新教科书,Samworth 与 Shah 合著免费开放 — FrnkNlsn · 2026-09-23
- Reinforce-Ada:按难度自适应分配算力,RLVR 收敛加速至 2 倍 — burny_tech · 2026-09-23
- 论文:Transformer 并非没有世界模型,而是特征叠加互相干扰 — burny_tech · 2026-09-23
- 新论文称 Transformer 难以学会 loop-closure 世界建模 — burny_tech · 2026-09-23