DeepMind 研究员梳理「局部损失」版图:现代 AI 的成功关键在拆解长程计算

mblondel_ml · x · 2026-10-24

Google DeepMind 研究员 Mathieu Blondel 指出,现代 AI 成功的一个关键要素是:把一条长串行计算分解成许多独立、局部的监督学习问题。不同文献中的变体,区别主要在于「局部目标从哪来」。他附上了一张系统分类图:

目标来自数据/专家(模仿):teacher forcing、行为克隆、逐步 trace 监督;失败模式是曝光偏差/误差累积,可用 scheduled sampling、DAgger 缓解
目标来自设计好的腐蚀/传输过程:扩散模型(denoising score matching)、flow matching/rectified flow、去噪自编码器与掩码建模(BERT、MAE)
目标由模型自举(自洽):TD 学习、GFlowNets(detailed balance)、consistency models
目标来自搜索或后见之明:Expert Iteration/AlphaZero、hindsight experience replay、拒绝采样微调/STaR、过程奖励模型
目标作为自由变量(辅助坐标):multiple shooting/collocation、ADMM 训练、target propagation;适用于中间状态未知的场景
架构或物理层面的局部性:物理信息损失(PDE 残差)、layer-local 训练(forward-forward、合成梯度、预测编码)、表征预测/蒸馏(BYOL、JEPA)

这张图把强化学习、扩散、RLHF 过程奖励、JEPA 等看似分散的技术线统一在「局部损失」框架下,是理解现代训练方法共性的好抓手。

「研究」频道最新