对采样加 stop gradient 得到力矩匹配方向:理论成立但方差高
mblondel_ml · x · 2026-11-17
Blondel 等人论文线程第三部分:由于病理源于采样过程对模型参数的依赖,作者分析对采样施加 stop gradient 后的效果,得到一个理论上站得住的「moment matching」更新方向,但实践中方差很高。完整分析见线程首条。
所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→
「研究」频道最新
- Zuse 决策模型覆盖 27 种欧洲语言,27B 版准确率达 87.5% — bineric · 2026-11-17
- 哥本哈根招募生物材料×机器智能研究者,12月6日截止 — _onionesque · 2026-11-17
- Templeton 基金会资助 110 万美元打造全球道德观图谱供 AI 对齐使用 — MohammadAtari90 · 2026-11-17
- 开发者构想专用扩散模型集群生成代码:让非法语法根本无法表示 — SubtleGradient · 2026-11-17
- 经济学者发文警告:99% AI 生成论文正冲垮同行评审体系 — Afinetheorem · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17