Dietterich 质疑 LLM 泛化能力:是学规律还是核插值

机器学习元老 Thomas Dietterich 回应 Andrew Wilson 关于泛化未解问题的提问,提出理想化泛化标准:给模型一组恒定加速度运动下的 (x,t) 数据,看其能否归纳出 x = ½at² 的普适规律,借此质疑 LLM 的泛化究竟是学到物理规律,还是仅在做核插值。他还补充说,符号回归早已能够归纳此类规律,他真正关心的是神经网络的泛化能力问题。

2026-10-11 ~ 2026-10-11 · 2 条相关