Apple 研究揭示离散扩散采样器置信度的理论局限
Apple ML Research · rss · 2026-10-02
Apple ML Research 发布论文《Limits of Confidence in Diffusion》,研究离散扩散模型(包括 remasking 与 uniform-state 采样器)的理论缺陷。这类模型每步同时写入多个 token 位置:各位置从各自的分布中采样,写入哪些位置也由同样的分布决定。
论文证明:只有当每步写入的位置在已固定 token 条件下相互独立时,该步才能匹配训练分布;对于像素、音素、词语等存在内在依赖关系的领域,任何逐位置分布的乘积都无法匹配具有依赖关系的 token 组。这意味着基于置信度的采样策略在这些依赖场景下存在固有局限。
「研究」频道最新
- 实测:GPT-5.6 Luna 重排 100 篇文档几乎不比 20 篇强,成本 5 倍 — eshorten300 · 2026-11-19
- AI 药物设计公司 Boltz 融资 1.1 亿美元,6 家top20药企合作 — GabriCorso · 2026-11-19
- Contra Labs 发布设计基准:神秘模型 Gestalt 力压人类金牌作品登顶 — yuwen_lu_ · 2026-11-19
- 1688 次 Agent 实测:错误措辞一处含糊,38/48 次静默覆盖他人写入 — Miserable_Bed_219 · 2026-11-19
- RL 训练从不做均匀采样:偏差来源与 RFCL 应对思路 — KyleMorgenstein · 2026-11-19
- 移除人类视频后机器人OOD成功率从60%暴跌至7%,泛化全靠人类视频 — gui_penedo · 2026-11-19