DeepMind 后训练负责人牛津演讲:策略梯度是种很糟糕的学习方式
IanOsband · x · 2026-10-12
Google DeepMind 后训练科学团队负责人 Ian Osband 将在牛津数学研究所做题为《The Price of Learning(学习的代价)》的演讲(10 月 19 日)。
- 核心论点:策略梯度(policy gradient)是现代 RL 和 LLM 后训练的核心,但在图像分类这种准确率梯度可直接计算的任务上,它连准确率都输给交叉熵
- 解释框架:学习本质上是一个序贯资源分配问题——数据、算力和容量都是稀缺资源,每次更新决定下一次的起点;策略梯度无视这一点,采取贪心支出策略
- 方案:提出为「学习」定价的简单方法,可同时提升鲁棒性、算力效率和准确率
Osband 此前在 OpenAI 从事 ChatGPT 与推理模型后训练工作两年,斯坦福博士。同一研讨会还有南安普顿大学朱占星关于 Transformer 可学习性与安全对齐的报告。
所属事件:DeepMind 后训练负责人将赴牛津演讲策略梯度局限(2 条相关)→
「研究」频道最新
- STOKE 用随机搜索超优化机器码,早期剪枝省算力 — lauriewired · 2026-10-13
- Meta 称 Muse Wonder Full 域外表现超 Muse Spark 趋势预期，归功更强底模 — AIatMeta · 2026-10-13
- ReplaySSM 进驻 GLM-5.3-Flash 与 Kimi-K3,解码最高提速 2.1 倍 — tri_dao · 2026-10-13
- DeepRSI 基准亮相:让 agent 连续干 48 小时 ML 任务衡量递归自我改进 — garrytan · 2026-10-13
- Datalab 发布公平 OCR 基准 OmniParseBench,主动放弃自榜第一 — VikParuchuri · 2026-10-13
- 研究:微型企业与个人发明者最积极用 AI 写专利申请 — robseamans · 2026-10-13