CMU 等团队提出「epiplexity」:为计算受限智能体重定义信息量
davidmanheim · x · 2026-10-27
CMU、NYU 等机构研究者(Marc Finzi、Shikai Qiu、J. Zico Kolter、Andrew Gordon Wilson 等)发布 arXiv 论文《From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence》。
论文核心观点:Shannon 信息论和 Kolmogorov 复杂度假设观察者拥有无限计算能力,因而在评估"数据中有多少可学习内容"时几乎失效。作者指出三个悖论:
- 确定性变换不能增加信息——但实践中数据增强/计算显然能创造可学内容;
- 信息与数据顺序无关——但课程学习等实践表明顺序影响学习;
- 似然建模只是分布匹配——但似乎能生成比数据生成本身更复杂的程序。
为此提出「epiplexity」新度量:刻画计算受限的观察者能从数据中学到的结构性内容,排除伪随机数生成器、混沌系统等代表的不可预测的时界熵。论文由此论证信息可以通过计算被创造、依赖数据顺序,并探讨似然建模为何能产生超越数据生成过程的复杂程序。
「研究」频道最新
- 宾大 Kording 实验室为 2027 春季演讲系列公开征集学者提名 — KordingLab · 2026-10-27
- neuron-explorer 新增 MLX 支持，可在 Apple Silicon 上逐神经元探索 Qwen3.5-4B — arthurcolle · 2026-10-27
- OpenAI 宣布模型产出 Yang-Mills 存在性证明并完成 Lean 形式化 — exophades · 2026-10-27
- 3SAT 亚指数算法震动理论计算机科学，Bubeck 称 20 年最大意外 — danintheory · 2026-10-27
- gdb 宣布 AI 辅助拿下数学、复杂性理论与量子场论三项科学发现 — gdb · 2026-10-27
- 学术圈观察:AI 一边制造论文垃圾,一边清理人类遗留的学术垃圾 — _akpiper · 2026-10-27