Apple 研究揭示离散扩散采样器置信度的理论局限
Apple ML Research · rss · 2026-10-02
Apple ML Research 发布论文《Limits of Confidence in Diffusion》,研究离散扩散模型(包括 remasking 与 uniform-state 采样器)的理论缺陷。这类模型每步同时写入多个 token 位置:各位置从各自的分布中采样,写入哪些位置也由同样的分布决定。
论文证明:只有当每步写入的位置在已固定 token 条件下相互独立时,该步才能匹配训练分布;对于像素、音素、词语等存在内在依赖关系的领域,任何逐位置分布的乘积都无法匹配具有依赖关系的 token 组。这意味着基于置信度的采样策略在这些依赖场景下存在固有局限。
「研究」频道最新
- OpenStamp:把水印写进权重末层,开源模型也能防删水印 — danish037 · 2026-10-03
- CruxBench 入选 NeurIPS:考「会不会提问」而非答对,前沿 LLM 仍难胜随机 — mengyer · 2026-10-03
- Lampinen 炮轰神经符号派：符号主张屡屡退让难以自洽 — AndrewLampinen · 2026-10-03
- 新研究:用语言数据解析人类衰老中的认知变化 — abenitezburraco · 2026-10-03
- 为何嵌入模型偏爱 1536 维?Reddit 探讨背后的取舍 — Gay-Guy-With-GF · 2026-10-03
- 半年用 AI 设计抗体与蛋白，研究者直言不信 AI 末日论 — CatAstro_Piyush · 2026-10-03