如何看待这本深度学习理论专著
Carbon1674 · reddit · 2026-07-14
楼主在评估一本号称用信息论统一解释深度学习、甚至自监督学习的专著是否可信。作者对书中引用的文献感到“评价参差不齐”：一部分来自 JMLR 和 NeurIPS，看起来相对扎实；另一部分则是他认为质量很差、且发表在不熟悉 venues 的论文。 他特别质疑书里提出的“white-box transformer”路线：所谓的结构看起来更像带稀疏约束的普通 MLP，注意力机制也比常见实现更弱。尽管书中有一些有趣结果，比如其定制 transformer 能在非自监督任务上学到图像分割，但楼主不确定这些结果对“机器如何学习”这一更大问题意味着什么，希望有更有上下文的读者帮忙判断这本 monograph 的理论分量。