新概念 Epiplexity:为算力受限智能重新定义信息,可指导设计好评测
burny_tech · x · 2026-10-10
Daniel Fein 推荐了 arXiv 论文《From Entropy to Epiplexity》(Marc Finzi、Shikai Qiu、Yiding Jiang、Pavel Izmailov、J. Zico Kolter、Andrew Gordon Wilson),认为其概念对设计好的模型评测非常有用。
- 论文指出香农信息与 Kolmogorov 复杂度在评估「数据对计算受限观察者有多少可学价值」时几乎无能为力,并列出三个悖论:确定性变换不能增加信息、信息与数据顺序无关、似然建模只是分布匹配
- 作者提出 epiplexity:量化计算受限观察者能从数据中学到的结构化内容,同时排除时间受限熵(伪随机数生成器、混沌系统那类不可预测的随机内容)
- 借此论证「信息可以通过计算被创造出来」等结论;Fein 解释:所谓模型「不该以愚蠢的方式失败」,就是指数据有可知结构而模型不知道它——这正是设计评测时的核心标准
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23