深度网络如何泛化:从贴近数据出发拟合程序,而非寻找最简解
jd_pressman · x · 2026-10-10
jdpressman 猜测神经网络泛化的机制:初始假设是一个紧贴输入数据的程序库,随后尝试拟合能在越来越多输入上复现/预测目标数据、同时保持程序规模不变的程序。也就是说,神经网络和其他成功的程序搜索方法一样是数据驱动的——它们找的是由数据特征提示的程序,而不是最简或最泛化的程序,推理顺序与 Solomonoff 推理器相反。帖子引用了 arXiv 论文《Alien Coding》作为相关背景。
所属事件:前OpenAI安全负责人论深度学习归纳偏好与Solomonoff相反(7 条相关)→
「研究」频道最新
- DeepMind AlphaProof Nexus 自主解决 9 个 Erdős 难题，含 56 年未解之谜 — Dr_Singularity · 2026-10-10
- Meta 论文：27B 开源模型做科研提案，超 Claude Code 基线 5.9% — dair_ai · 2026-10-10
- Bend 之父：内核仅 10 万 token,目标是让 AI 自己写编译器 — MikePFrank · 2026-10-10
- 屏状核神经元实时追踪不确定性与预测误差,人脑也是预测机 — VoidStateKate · 2026-10-10
- 商汤 SenseNova-RoboRSI:不改模型权重,机器人任务分数翻近一倍 — JaynitMakwana · 2026-10-10
- Sakana AI 提出 MASS:多智能体自监督实现无验证器递归自我提升 — omarsar0 · 2026-10-10