神经网络的归纳偏好与 Solomonoff 推理相反,研究者在 X 上激烈交锋
jd_pressman · x · 2026-10-10
jdpressman 与网友讨论深度网络与 Solomonoff 归纳的区别。他认为关键在于奥卡姆剃刀:深度网络的行为并不像按简洁性强力加权假设的样子,人类其实也不是。
- 有人指出 Solomonoff 可以允许程序代码很短但运行极久,而深度网络运行时间受限于架构,做不到这一点。
- jdpressman 的猜测是:神经网络的初始假设是一组紧贴输入数据的程序库,然后通过在不同输入上拟合能复现/预测目标数据的程序来泛化,同时保持程序规模不变——即按数据特征找程序,而非找最简或最泛化的程序,推理顺序与 Solomonoff 推理器相反。
- 他引用 arXiv 论文《Alien Coding》(Gauthier、Olšák、Urban,2023):一种自学习程序合成算法,从随机生成出发,交替训练神经机器翻译学习序列与程序对应关系、再提出新程序,自主为 78000 多条 OEIS 序列找到程序,有时发展出非常规的编程方式。
所属事件:前OpenAI安全负责人论深度学习归纳偏好与Solomonoff相反(7 条相关)→
「漫话AGI」频道最新
- 生物学家给出三条理由:AI 为何仍不具备意识 — skdh · 2026-10-10
- 吴恩达：Agent 不只耗 token，而是让搜索与存储需求暴涨 — DeepLearningAI · 2026-10-10
- 学者重释「生态繁荣」：不是和谐平衡，而是新心智的喷涌 — danfaggella · 2026-10-10
- 屏状核神经元实时追踪不确定性与预测误差,人脑也是预测机 — VoidStateKate · 2026-10-10
- 凌晨两点向 AI 提问,有时只是孤独学会更流利地说话 — YogeshMalik · 2026-10-10
- 博主断言超级智能不可能实现:知识只能靠实验获得,SI 只是快 AI — JHochderffer · 2026-10-10