UPenn 论文用「腐坏格」统一扩散与自回归,预判解码调度成本
upenn · hf · 2026-10-10
UPenn 团队提出把扩散模型、自回归模型及各类混合模型统一看作同一「腐坏格」(corruption lattice)上的路径,并用调度丢弃的依赖量定义其成本。核心结论:零成本调度的最少步数由数据几何决定——对图上马尔可夫、沿路径相关的数据,最少步数等于图的 treedepth,在序列长度上是对数级、在网格边长上是线性级。若步数少于 treedepth,任何调度都付出正成本;作者用从预训练权重估计的成对依赖核,在解码前即可预测不同调度的成本排名,并在文本、图像、视频生成上验证了大部分预测。这项工作为未来的 AR、扩散及混合模型提供了统一的设计原则,代码已开源。
「研究」频道最新
- Tetris RL 实验一周卡关:pretraining 决定 RL 上限,shape rewards 始终更优 — shizhediao · 2026-10-10
- 不同数据训练的模型收敛出相似概念几何,可否据此对齐? — cephaloform · 2026-10-10
- NULLs 论文获 COLM 隐私安全研讨会最佳论文:让 LLM 数据可按需删除 — AdtRaghunathan · 2026-10-10
- NeurIPS 论文「Phantom Transfer」：数据投毒可穿透全部 11 种数据级防御 — OwainEvans_UK · 2026-10-10
- Pushmeet Kohli 深谈：AlphaFold 为何没解决蛋白质折叠 — Latent Space · 2026-10-10
- Gym-Anything 获 COLM2026 Lifelong Agents 研讨会最佳论文 — dan_fried · 2026-10-10