Hutter 等新论文：理解泛化需要通用归纳与视角化 Solomonoff 归纳

examachine · x · 2026-10-03

Aram Ebtekar、Marcus Hutter 与 Danica J. Sutherland 发布 arXiv 论文《Understanding Generalization Requires Universal Induction》，论证经典统计理论无法解释通用 AI 模型的成功：No Free Lunch 定理表明任何学习器在部分环境上超过随机，就必然在其他环境上表现更差，且该结论同样适用于元学习，因此任何有效预测都始于数据之外归纳偏置。

作者选择偏向短程序即得 Solomonoff 归纳（SI），并引入「信息视角点」对其相对化：不是追求绝对的简洁性，而是相对于既有信息可及性的偏向。任何算法若要超越相对化 SI，其代码必须包含关于数据的额外信息，而这不可能凭空生成。作者指出 SI 不可计算、非实用算法，但为无限算力下的推理提供了形式最优，且有迹象表明前沿 AI 系统大致近似了它。