开发者指出离散扩散模型存在理论盲区

AI 研究者 kalomaze 连续发文指出，MDLM 等离散扩散模型存在根本性理论缺陷。这类模型在学习时依赖一组独立的条件概率，但这并不等同于学习真正的联合概率分布。例如在并行采样时，由于 token 条件相互解耦，模型会对“新卡罗来纳”这类不存在的虚假组合视而不见。他强调，这种独立性假设在经验上存在局限，而自回归预训练才是决定生成模型能力底线的基础。

2026-08-10 ~ 2026-08-10 · 3 条相关