为何大模型学得更多：容量竞争让小模型忘掉罕见任务

ChrisGPotts · x · 2026-10-23

Potts 继续解读其预测框架：Hardness 变量衡量样本在模型遇到时是否「在分布内」，越在分布内越容易被记住(Huang et al. 2024 §4.4),但实验中其预测力较低，值得深挖。统一理论来自 Huang et al. 2026《Why Larger Models Learn More》:模型容量有限导致梯度干扰，使其逐渐遗忘低频、异常任务而保留高频正常任务，这既解释了记忆化曲线，也解释了 Hardness 的调节作用。该论文用 4M–4B 参数的 OLMo 预训练验证：小模型把神经元分配给高频/低复杂度任务，即使存在能表达罕见任务的解也学不会；大模型因干扰减弱而能慢慢积累罕见任务特征。