MDLM类模型缺陷：独立条件概率无法代表联合分布
kalomaze · x · 2026-08-10
kalomaze指出MDLM类模型的问题：学习一组独立条件概率并不等同于学习联合概率分布。例如，'New Carolina'不是真实州，但并行采样解耦的token条件对此视而不见。虽然可以通过技巧使独立性假设在经验上不那么不一致，但生成建模的下限无法降低或代表不存在领域的概率。
所属事件:开发者指出离散扩散模型存在理论盲区(3 条相关)→
「研究」频道最新
- 研究称 LLM 写 JS 比 TS 错误率更低，静态类型未必是代码护栏 — hichaelmart · 2026-08-10
- 269小时脑电数据训练，非侵入式语音解码准确率达61.3% — kaixhin · 2026-08-10
- 推测解码技术为何爆发？Tri Dao 等论文推动推理革命 — Ok-River5924 · 2026-08-10
- 3D 扫描实景训练人形机器人：零真实微调直接上岗 — lukas_m_ziegler · 2026-08-10
- 单模型搞定转写与分离：MOSS-Transcribe-Diarize — vanstriendaniel · 2026-08-10
- 哈佛与MIT开源MatrAIx：模拟全球83亿人行为 — SRSchmidgall · 2026-08-10