对采样加 stop gradient 得到力矩匹配方向:理论成立但方差高

mblondel_ml · x · 2026-11-17

Blondel 等人论文线程第三部分:由于病理源于采样过程对模型参数的依赖,作者分析对采样施加 stop gradient 后的效果,得到一个理论上站得住的「moment matching」更新方向,但实践中方差很高。完整分析见线程首条。

所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →