Sander Dieleman 谈典型性:为何似然不适合感知信号
sedielem · x · 2026-10-21
DeepMind 研究员 Sander Dieleman 在回复提问时推荐了自己 2020 年的长文《Musings on typicality》,并补充观点:对感知信号而言,输入空间的 likelihood 通常不是你要的东西,可以像扩散模型那样对其重加权,或改在另一个表示空间中度量。
原文核心论点:
- 典型性(typicality)概念:高维分布中,样本几乎总落在「典型集」上,其典型负对数似然远高于分布熵——这解释了为何高维高斯像「肥皂泡」。
- 为何 beam search 对自回归图像/音频/视频模型失效:逐维看,不太「典型」的序列反而似然更高,搜索会偏好低典型性的怪异样本。
- 为何不能直接用似然阈值做异常检测:测试点的负对数似然高低与「是否异常」并不对应,典型性偏差会让正常样本反而得分更差。
- 正确的抽象层级:应在合适的表示空间中衡量概率,而非原始输入空间。
这篇长文是理解生成模型在高维空间中反直觉行为的基础材料。
「研究」频道最新
- 浏览器里实时看染色体折叠：lefsim 交互演示 loop extrusion — jmschreiber91 · 2026-10-21
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- 陶哲轩发起 AI 辅助挑战:用 AI 复审高斯经典数论问题 — robleclerc · 2026-10-21
- 清华发布 OSWorld-Science 基准:12 个模型科学软件操作均分仅 34.3% — jiqizhixin · 2026-10-21
- 实验:给 Qwen3 加「计划」训练,可把任意模式编译成逐层步骤 — Sauers_ · 2026-10-21
- 新论文提「功能福祉」:反复拒绝可让 Gemma 3 出现失控行为 — repligate · 2026-10-21