真实数据分布正在改写训练经验
chris_j_paxton · x · 2026-07-17
作者认为，今年最重要的教训之一是：过去很多依赖固定先验和强约束数据流程的方法，可能都要被推翻。 他引用的观点是：在低数据量、易过拟合的场景里学到的经验，并不能直接迁移到高数据量阶段。去年依赖强 inductive bias 和极其严格的数据收集，得到的是一个“能用但脆弱”的 policy；今年则放宽约束，让数据覆盖真实世界的状态分布，结果出现了先前完全没预料到的新能力。
chris_j_paxton · x · 2026-07-17
作者认为，今年最重要的教训之一是：过去很多依赖固定先验和强约束数据流程的方法，可能都要被推翻。 他引用的观点是：在低数据量、易过拟合的场景里学到的经验，并不能直接迁移到高数据量阶段。去年依赖强 inductive bias 和极其严格的数据收集，得到的是一个“能用但脆弱”的 policy；今年则放宽约束，让数据覆盖真实世界的状态分布，结果出现了先前完全没预料到的新能力。