缩放定律争论：超参数「易识别」不等于「可预测」

JJitsev 与 AlexShtf 就大模型 Scaling Laws 讨论中关于超参数的两个易混淆声明展开澄清，指出「大规模下容易识别超参数」与「可以通过小规模预测来识别超参数」并非同一件事，混淆两者导致了社区误解。

已确认

JJitsev 指出讨论中存在两个常被混淆的声明：一是推导缩放定律需要在较小规模上进行彻底的超参数调整；二是大规模下识别超参数相对容易，因此缩放定律的小预测误差可以接受。
AlexShtf 强调，在更大规模下「识别超参数是容易的」不等同于「通过预测来识别超参数是容易的」，二者不可混为一谈；他重申不认为「更容易调参」等同于「可从低规模预测」。
JJitsev 引用论文原文澄清：小规模训练的超参数空间维度更高且更严格（无情），需要广泛搜索；大规模训练空间更平缓、更温和且低维，好的超参数很容易通过标准技术适应。因此论文建议先在小规模模型上进行超参数搜索。
JJitsev 进一步解释论文观点：若在小规模（低成本）进行充分调参，则有望准确预测大规模下的超参数，因为随规模增加超参数损失面维度降低，无需在大规模上重新调参。他同时承认论文未能澄清「识别」与「预测识别」这一重要区别，可能导致误解。
JJitsev 提出后续研究方向：通过在小规模下进行详尽的超参数扫描，证明预测出的大规模超参数能足够接近最优值，其依据是最优参数周围存在一个可包容预测误差的宽广邻域。

2026-08-19 ~ 2026-08-20 · 7 条相关