「Scaling laws 非自然定律」：更好数据与架构仍能掰弯曲线

bookwormengr · x · 2026-08-19

博主在讨论中反驳 scaling 饱和论：scaling 曲线总可以通过更好的数据筛选、环境与任务、优化器、更好的残差、embedding 尺寸与数量、latent attention、latent MoE 等手段向更有利的方向弯折，目前尚未到达饱和。

其核心论断是：「Scaling laws 不是自然定律，只是对当前范式下实验结果的统计外推」——言下之意，范式改进本身就能改变所谓的定律。