Bo Dai and Yilun Du Release Energy-Based Perspective Tutorial Unifying Machine Learning
Bo Dai 与 Yilun Du 发布教程论文《An Energy-Based Perspective on Machine Learning》(arXiv:2611.14383),主张能量模型(EBM)不只是众多模型家族之一,而是理解整个机器学习的统一视角。作者用五段线程系统讲解了论文的核心思路。
已确认
- 每个 EBM 由三个选择定义:能量(表示什么)、推断(如何采样/优化)、学习(如何拟合)。MLE、对比散度(CD)、pseudolikelihood、score matching、NCE、对抗训练等学习方法的本质差别只在于负样本如何采样。
- 在该视角下,分类器、GAN、flow、扩散模型、自回归 LM、SimCLR/CLIP/word2vec/BERT、EBM 策略、世界模型、IRL、规划均可归为 EBM,差异主要在配分函数与采样的处理方式,帖中附完整对照表逐行列出。
- 该视角也覆盖推理时计算:best-of-N、verifier、RL 微调都指向同一个 KL 正则化的 EBM,区别只是成本付在训练时还是推理时;帖中附 amortization 与 best-of-N 采样微调两种流程。
- 推理时组合:AND 用能量相加,OR 用 log-sum-exp,NOT 用能量取负,无需重训即可组合扩散模型、属性生成器等多个学习到的模型。
为什么重要
- 这一框架把看似无关的方法(GAN、扩散、对比学习、RL、规划)纳入同一数学语言,便于理解各方法之间的真实差异与联系,也为跨方法迁移技术(如组合推理)提供了理论基础。
2026-11-20 ~ 2026-11-20 · 5 related posts
Primary sources
- [source] Bo Dai and Yilun Du release EBM tutorial unifying ML through one energy-based lens — daibond_alpha · 2026-11-20
- [source] EBM tutorial thread: ML learning methods differ only in negative sampling — daibond_alpha · 2026-11-20
- [source] EBM tutorial's master table maps GANs, diffusion, BERT, and RL into one framework — daibond_alpha · 2026-11-20
- EBM tutorial thread: best-of-N and RL fine-tuning share one KL-regularized objective — daibond_alpha · 2026-11-20
- Composing EBM models at inference time: AND, OR, NOT with energy arithmetic — daibond_alpha · 2026-11-20