Bengio 等人新论文:用算法信息论给「组合性」下普适度量
patrickmineault · x · 2026-10-27
Bengio、Blaise Agüera y Arcas、Eric Elmoznino 等人发布新论文《Defining and Generating Compositional Structure》,首次给出组合性(compositionality)的内在定义与度量方法。
核心思路
- 世界由稀疏交互的独立机制构成(因果文献中的 Sparse Mechanism Shift 假说),但「世界是组合的」长期只是假设,缺乏普适的量化手段。
- 论文基于算法信息论(Kolmogorov 复杂度),将组合性定义为:对整体建模时出现的、超出部分单独建模所能解释的「新共享结构」。随机字符串得分为零,简单重复模式亦然。
方法与验证
- 以最小充分统计量作为对象的「模型」,固定对象切分为部分的方式,并猜想「真实」切分就是使得分最大化的那一种。
- 用 CPPN(组合模式生成网络)做生成实验:按 Structure 奖励与组合性奖励优化,演化出的字符串会发展出更深的语法层级,图像则出现重复母题并保持统一视觉主题(配图展示 CPPN 统计指标随生成步数上升及生成的组合性图像)。
这项工作把组合性从隐含假设变成可计算的对象,对理解深度架构为何有效、如何生成层次化数据都有意义。
「研究」频道最新
- EMNLP 论文：用稀疏自编码器做基于文本的因果混杂调整 — anjalie_f · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 约翰霍普金斯 NLP 团队亮相 EMNLP 2026 布达佩斯 — mdredze · 2026-10-27
- 网友直改 Qwen 单个神经元，把模型改写成 3000 年外星人 — MarcJSchmidt · 2026-10-27
- looped transformer 中发现「非二元论」神经元等五个概念神经元 — burny_tech · 2026-10-27
- 研究：高随机性谈判任务中仅 3/9 组模型能达成互利交易 — davidad · 2026-10-27