陶哲轩：AI 缺少自己的香农信息论，没人知道规模化的上限

burny_tech · x · 2026-11-11

陶哲轩指出，我们至今无法预测一个模型需要多少参数、训练多久才能学好一个数据集，全靠经验和经验法则，因为基础概念缺失。对比之下，通信领域有香农信息论（比特、熵），这正是手机能流式传输大带宽视频、我们能算出频谱上限的原因——但智能和数据复杂度还没有对应理论。因此没人知道 AI 的极限在哪：模型随规模继续变强，但何时停止无人能说，因为相关数学尚不存在。他认为该领域需要更多数学家投入 AI 理论研究。