新研究揭示计算最优缩放取决于技能：记忆要参数，推理要数据

ml_perception · x · 2026-08-20

arXiv 新论文《Compute Optimal Scaling of Skills: Knowledge vs Reasoning》指出，LLM 的计算最优缩放行为是技能依赖的。研究发现，基于知识的任务（如 QA）和基于推理的任务（如代码生成）在缩放行为上存在根本差异：记忆型任务更需要参数，而推理型任务更需要数据。此外，研究还发现验证集的技能组成若未校准，可能导致计算最优参数数量偏差近 50%。