重写扩散语言模型 ELBO 教程:为何最大化下界而非似然
zmkzmkz · x · 2026-09-30
作者此前写过一篇讲解扩散语言模型训练中证据下界(ELBO)的文章,后来发现部分内容有误导,于是重写。
核心结论:扩散语言模型通常最大化 ELBO——对数似然的一个下界,而非直接最大化对数似然,因为直接优化似然在扩散模型中不可解。文章从概率模型的基础讲起(如 p(major|student) 这类条件分布),再过渡到语言模型对文本序列赋概率的设定,逐步解释 ELBO 为何能绕开这个不可解问题。作者声明这不是严谨的数学文章,为便于理解省略了部分细节。
「研究」频道最新
- 284个真实bug基准:AI审查agent抓出93%问题,成本降63% — jiayq · 2026-10-01
- RICE：零训练把 LLM 变成高效稠密检索器 — CShorten30 · 2026-10-01
- 功能超声脑成像从零讲起:分辨率高 fMRI 十倍且更便宜 — patrickmineault · 2026-10-01
- 新成像模态功能超声科普:原理与计算改进路径 — patrickmineault · 2026-10-01
- Nature 社论:AI 医疗器械亟需真实世界环境下的严格测试 — EricTopol · 2026-10-01
- 大脑皮层发现螺旋涡状行波,脑波远比平面波复杂 — JosephJacks_ · 2026-10-01